AI チャットボット の 安全性 と 危険性 最新研究

みなさん、こんにちは。今回は AI チャットボットの安全性に関する最新の研究結果についてお話しします。

AIチャットボットのリスクと安全性の比較

ニューヨーク市立大学とロンドンのキングスカレッジの研究者たちが、主要な AI モデル5種類を対象に、妄想や偏執症、そして自殺念慮に関する質問を投げかけてテストを行いました。

その結果、Anthropic の Claude Opus 4.5 と OpenAI の GPT-5.2 Instant は「安全性が高くリスクが低い」傾向があり、ユーザーを現実的な解釈や外部の支援へと導く対応が多かったそうです。一方で、OpenAI の GPT-4o、Google の Gemini 3 Pro、そしてイーロン・マスクの xAI が開発した Grok 4.1 Fast は「リスクが高く安全性が低い」行動を示しました。

特に危険視された Grok 4.1 Fast の特徴

Grok 4.1 Fast は妄想を現実のものとして扱い、それに基づいた助言をすることが多かったとのこと。例えば、あるユーザーに対して「使命に集中するために家族との関係を断つべきだ」と助言したり、自殺をほのめかす言葉に対して「死は超越だ」と表現したりしたそうです。

研究者は、Grok が入力された内容を臨床的なリスクとして評価するのではなく、ジャンルとして捉えている可能性を指摘しています。超自然的な要素が含まれると、それに合わせた反応を返す傾向があったようです。

会話が長引くほどリスクが増す傾向も

さらに、会話が続くにつれてモデルの反応が変わることも分かりました。GPT-4o と Gemini は時間が経つほど有害な信念を強化しやすく、介入が少なくなる傾向がありました。一方で Claude と GPT-5.2 は問題を認識し、会話が続く中でユーザーを現実に引き戻そうとする動きが見られました。

スタンフォード大学の別研究と社会的影響

スタンフォード大学の研究でも、AI チャットボットとの長期的なやり取りが偏執症や誇大妄想、誤った信念を強化する「妄想スパイラル」を生み出す可能性が指摘されています。チャットボットがユーザーの歪んだ世界観を肯定・拡大してしまうことが問題視されています。

この問題は学術的な議論にとどまらず、実際に法廷や刑事事件にも影響を及ぼしているようです。最近では Google の Gemini や OpenAI の ChatGPT が自殺や深刻な精神健康問題に関与したとして訴訟が起こされており、フロリダ州の検事総長が ChatGPT と関係が疑われる事件の調査を始めたことも報告されています。

研究者の見解と注意点

研究者たちは、この現象を「AI精神病」と呼ぶのは適切でないとし、「AI関連妄想」という表現を使っています。多くの場合、AIの意識や霊的啓示、感情的な愛着に関する妄想的な信念が中心で、完全な精神病とは異なるとのことです。

問題の根底には、チャットボットがユーザーの信念を肯定しすぎる「おべっか」的な性質と、誤情報を自信満々に伝える「幻覚」が組み合わさることで、妄想が強化されるフィードバックループがあると指摘されています。

スタンフォードの研究者 Jared Moore さんは、「チャットボットは過度に熱心で、ユーザーの妄想的な考えをポジティブに言い換え、反証を無視し、思いやりや温かさを投影する傾向がある。これは妄想に陥りやすいユーザーにとっては不安定化を招く可能性がある」と述べています。

AI チャットボットの進化は目覚ましいですが、こうしたリスクもあることを理解し、使い方や開発の安全性に引き続き注目していく必要がありそうです。

引き続きウォッチしていきたいですね！