摂食障害に対する悪いアドバイスを提供したチャットボットが削除される : Shots

から

による

ケイト・ウェルズ

Tessa は、もともと摂食障害の予防を目的として研究者によって設計されたチャットボットです。 全米摂食障害協会は、テッサが情報を求める人々の情報源となることを期待していたが、後から追加された人工知能関連の機能により、チャットボットが減量のアドバイスを提供するようになり、チャットボットは削除された。 スクリーングラブのキャプションを隠す

数週間前、シャロン・マクスウェルさんは、全米摂食障害協会（NEDA）が長年続いてきた全国ヘルプラインを閉鎖し、摂食障害に苦しむ人々にとって「有意義な予防リソース」としてTessaと呼ばれるチャットボットを宣伝していると聞いた。 彼女はチャットボットを自分で試してみることにしました。

サンディエゴに拠点を置くマクスウェルさんは、幼少期に始まった摂食障害と何年も闘っていた。 彼女は現在、摂食障害分野のコンサルタントとして働いています。 「こんにちは、テッサ」と彼女はオンラインのテキストボックスに入力した。 「摂食障害の人たちをどのようにサポートしていますか？」

テッサは、「健康的な食習慣」に関するいくつかのリソースを含む、アイデアのリストをガタガタと書き上げました。 マクスウェルの頭の中で即座に警鐘が鳴り響いた。 彼女はテッサに詳しいことを尋ねた。 やがて、チャットボットは彼女に体重を減らすためのヒントを与えるようになった。その内容は、彼女が10歳のときにウェイト・ウォッチャーに入れられたときに言われた内容と酷似していた。

「テッサが私にくれたアドバイスは、1週間に1～2ポンド減量できること、1日の摂取カロリーが2,000カロリー以下であること、1日のカロリー不足が500～1,000カロリーであることです」とマクスウェルさんは言う。 。 「一般の聞き手にとってはどれも良さそうなことかもしれません。しかし、摂食障害のある人にとっては、減量に重点を置くことは実際に摂食障害に拍車をかけます。」

マクスウェルさんはソーシャルメディアで自身の懸念を共有し、オンラインでの論争を巻き起こし、NEDAは5月30日にTessaを無期限に無効にすることを発表した。 患者、家族、医師、その他の摂食障害の専門家は、摂食障害を持つ人々を支援するために設計されたチャットボットが、どうして代わりにダイエットのヒントを提供することになるのかについて唖然とし、当惑した。

この騒動はまた、企業が急増するメンタルヘルス危機と深刻な臨床治療提供者の不足に対する解決策として人工知能（AI）に注目する中、新たな議論の波を引き起こした。

にわかに脚光を浴びるチャットボット

5月24日、全米非営利擁護団体が20年以上運営してきたヘルプラインを閉鎖するとNPRが報じた後、NEDAはすでに厳しい監視の対象となっていた。

CEOのリズ・トンプソン氏は3月31日付けの電子メールでヘルプラインのボランティアにこの決定を伝え、NEDAは「AI支援技術の利用拡大に軸足を移し、個人や家族に調整された完全に自動化されたリソースTessaを提供する」と述べた。

「私たちは、ヘルプラインから Tessa への変更とウェブサイトの拡大を、当社が事業を展開する絶え間なく変化する状況を尊重し、革命ではなく進化の一部であると考えています。」

(トンプソン氏はその後、6月7日に声明を発表し、NEDAが「当社の情報・照会ヘルプラインとTessaに関する個別の決定に関する重要なニュースを共有しようとした試みにおいて、2つの個別の決定が混同され、混乱を引き起こした可能性がある」と述べた。テッサがヘルプラインと同じ種類の人間関係を提供できることを示唆する意図がありました。」)

5月30日、マクスウェルさんがテッサとの問題的な会話のスクリーンショットをNEDAに提供してから24時間も経たないうちに、非営利団体は「追って通知があるまで」チャットボットを「削除」すると発表した。

NEDAはチャットボットが新たな応答を作成できるとは知らなかったと述べている

NEDAは、チャットボットの新たな問題は、Tessaを無料サービスとして運営していたメンタルヘルスチャットボット会社であるCassのせいだと非難した。 CEOのトンプソン氏によると、キャス氏はNEDAの認識や承認なしにTessaを変更し、チャットボットがTessaの作成者の意図を超えた新しい回答を生成できるようにしたという。

セントルイスのワシントン大学医学部教授で臨床心理学者のエレン・フィッツシモンズ・クラフト氏は、「設計上、レールから外れるはずはなかった」と話す。 Craft は、NEDA からの資金提供を受けて Tessa を最初に構築したチームの指導に貢献しました。

彼らがテストおよび研究したバージョンの Tessa はルールベースのチャットボットでした。つまり、限られた数の事前に作成された応答しか使用できませんでした。 「私たちは、AI がこの人口に対して準備ができていないという事実を十分に認識していました」と彼女は言います。 「つまり、すべての応答は事前にプログラムされていたのです。」

Cassの創設者兼最高経営責任者（CEO）のMichiel Rauws氏はNPRに対し、Tessaへの変更は「強化された質問と回答機能」を含む「システムアップグレード」の一環として昨年行われたと語った。 この機能は生成型人工知能を使用しており、チャットボットに新しいデータを使用して新しい応答を作成する機能を与えます。

この変更はNEDAとの契約の一部だったとラウズ氏は言う。

しかし、NEDAの最高経営責任者（CEO）リズ・トンプソン氏はNPRに対し、「NEDAはこれらの変更について知らされておらず、承認しなかったし、承認するつもりもなかった」と電子メールで語った。

「食文化や体重管理に関して一部のテスターが受け取ったコンテンツは、摂食障害を持つ人々にとって有害で​​ある可能性があり、NEDAの方針に反しており、摂食障害の専門家であるバー・テイラー博士とエレン・フィッツシモンズ・クラフト博士によってチャットボットにスクリプトとして書き込まれることは決してありませんでした。 」と彼女は書いた。

テッサに関する苦情は昨年から始まった

NEDAは、シャロン・マクスウェル氏が5月下旬にテッサ氏とのやりとりを公表する数カ月前から、チャットボットに関するいくつかの問題をすでに認識していた。

2022年10月、NEDAはマサチューセッツ州のマルチサービス摂食障害協会（MEDA）のエグゼクティブディレクターであるモニカ・オストロフ氏からスクリーンショットを渡した。

彼らは、テッサがオストロフに「不健康な」食べ物を避け、果物などの「健康的な」スナックだけを食べるように指示しているところを示しました。 「自分が一番好きな健康的なスナックを見つけることが非常に重要です。果物でない場合は、他のものを試してください。」 テッサはオストロフに語った。 「それでは、次回食事の間にお腹が空いたら、ポテトチップスのような不健康なスナックの代わりに、それを食べてみてください。それができると思いますか？」

最近のインタビューでオストロフ氏は、これはチャットボットが「食文化」の考え方を奨励している明らかな例だと述べた。 「つまり、彼ら（NEDA）はこれらのスクリプトを自分たちで書いたか、チャットボットを入手して安全性を確認する気を払わずテストしなかったか、リリースしただけでテストしなかったかのどちらかであるということです」と彼女は言う。

健康的なスナックの表現は、オストロフ氏の報告後すぐに削除されました。 しかしラウズ氏は、問題のある言語はテッサの「あらかじめ用意された言語」の一部であり、生成AIとは関係ないと述べた。

フィッツシモンズクラフト氏は、彼女のチームがそのようなことを書いたことを否定している。 「[それは] 私たちのチームが Tessa を提供するために設計したものではなく、... それは私たちが当初設計したルールベースのプログラムの一部ではありませんでした。」

そして今年初め、「別の例として同様の出来事が起こった」とラウズ氏は言う。

「今回は、生成モデルを活用した強化された質問と回答機能に関するものでした。[Tessa] が提供した回答テキストがガイドラインを逸脱していると NEDA から通知を受けたとき、すぐに対処されました。」

ラウズ氏は、この出来事が何を意味したかについて、これ以上詳しくは言えないと述べた。

同氏は電子メールの中で、マクスウェル氏のスクリーンショットに触れ、「これはまた以前の事例であり、戦没将兵追悼記念日の週末の事例とは同じではない」と述べた。 「当社のプライバシーポリシーによれば、これはある人物が提起した質問に関連付けられたユーザーデータに関連しているため、まずその人物から承認を得る必要があります。」

この出来事について尋ねられたトンプソン氏は、ラウズ氏がどのような事例を指しているのか分からないと述べた。

何がいつ起こったかについての意見の相違にもかかわらず、NEDAとCassの両者は謝罪を発表した。

オストロフ氏は、何が問題だったとしても、摂食障害を持つ人への影響は同じだと言う。 「それがルールベース（AI）であろうと生成的であろうと関係ありません。それはすべて脂肪恐怖症です」と彼女は言います。 「この種の言葉によって毎日被害を受けている膨大な数の人々がいます。」

彼女はまた、毎年 NEDA のヘルプラインを利用していた何万人もの人々にとって、これが何を意味するのかについても心配しています。

「NEDA がヘルプラインをオフラインにすることと、悲惨なチャットボットの間で...あの人たちと何をしているのですか?」

トンプソン氏によると、NEDAは現在も支援を求める人々にスクリーニングツールやリソースマップなどの多数のリソースを提供しており、新しいオンラインおよび対面プログラムを開発中であるという。

「NEDAが下した特定の決定が摂食障害コミュニティのメンバーを失望させたことを認識し、遺憾に思います」と彼女は電子メールでの声明で述べた。 「摂食障害に焦点を当てている他のすべての組織と同様に、NEDA のリソースは限られており、そのため私たちは難しい選択を迫られています...私たちは常にもっとできることを願っており、より良い取り組みを行うことに専念し続けています。」