AIが自信満々に嘘をつく理由、仕組みから理解する

こんにちは。まなぶです。
ふだんはシステムエンジニアをしながら、noteの記事を書いています。
前回の記事「QRコードを読み取るだけで開通。eSIMの裏側にある仕組みを調べてみた」を読んでくださった方、ありがとうございます。

生成AIに存在しない論文のタイトルを、自信満々に教えられて焦ったことがあります。「知らない」と言ってくれればいいのに、なぜAIはもっともらしい嘘を作ってしまうのか、今回は仕組みを調べてみます。

AIは「正解を探す」のではなく「次に来る確率が高い言葉」を選んでいる

生成AI（大規模言語モデル、LLM）は、文章をそのまま理解しているわけではありません。文章を「トークン」という単語の断片に分割し、「この文脈の次に来る可能性が高い言葉は何か」を確率で予測し続けることで、文章を作っています。

学習の段階では、インターネット上の大量の文章から「次の単語を予測する力」を鍛えます。この学習には、文の内容が事実として正しいかどうかのラベルは付いていません。スペルのように規則性のあるパターンは正確に学習できますが、「ある人物の誕生日は何月何日か」のような、他に手がかりのないランダムな事実は、パターンから予測するのが難しいとされています。OpenAIが2025年9月に公式ブログで発表した研究によると、こうした予測しにくい情報について、不正確な出力（ハルシネーション）が生まれやすくなるとされています。

なぜ「わからない」と言わずに、それらしい答えを作ってしまうのか

もう一つの理由は、AIの性能を測る「採点方法」にあります。

同じOpenAIの研究によると、多くの評価の仕組みは、正解率のような二値の指標でAIの性能を測っています。この場合、「わからない」と答えると必ず低い評価になりますが、不確かでも何かを答えれば、正解する可能性が生まれます。選択式のテストで、白紙なら確実に0点だが、当てずっぽうでも答えれば正解できるかもしれない、という状況に近いです。

この仕組みのもとで鍛えられたAIは、「わからない」と正直に答えるより、もっともらしく見える答えを作る方向に学習が進みやすくなります。OpenAIの研究では、新しいモデル（gpt-5-thinking-mini）で、回答を控える割合を増やすことでハルシネーション率を大きく下げられた例が紹介されており、「性格の問題」ではなく「採点方法が生む構造的なクセ」だと位置づけられています。

対策のひとつ「RAG」：記憶だけでなく、資料を調べてから答えさせる

このクセを完全になくすのは難しいとされていますが、発生を減らす工夫のひとつが「RAG（検索拡張生成）」です。

AIが自分の記憶（学習済みの知識）だけで答えるのではなく、質問に関連する文書を外部のデータベースから検索し、その内容をもとに回答を作らせる仕組みです。試験に例えると、通常のAIは教科書を持ち込めない試験を受けているようなものですが、RAGは教科書を見ながら答えられる試験に近づける工夫、と言えます。根拠になる資料を検索してから答えるため、記憶だけに頼るよりも、事実と異なる回答が生まれにくくなるとされています。

まとめ：ハルシネーションは「性格」ではなく「仕組み」の問題

• AIは「次に来る確率が高い言葉」を選び続けて文章を作っており、事実の正しさを直接判定しているわけではない

• 多くの評価の仕組みが「わからない」より「推測」を有利にしてしまうため、もっともらしい誤りが生まれやすい

• RAG（検索拡張生成）のように、外部の資料を調べてから答えさせる仕組みで、発生を減らす工夫が進んでいる

「AIが嘘をつく」というより、「不確かでも何か答えた方が評価される」という仕組みの結果なんだとわかると、生成AIとの付き合い方も少し変わる気がします。

最後まで読んでいただき、ありがとうございました。

生成AIの回答を、あとで調べ直して「実は間違っていた」と気づいたことはありますか？ ひと言でもコメントで教えてもらえるとうれしいです。