AIは、どうして同じ質問に違う答えを返すのだろう
▼モジホコリを読む方法
マクロ寓話の中でAIの話になりました。
私は普段、
ChatGPTを使ったり。
Claudeを使ったり。
Grokを使ったり。
Geminiを使ったりしています。
それを見たビット娘に、
「一個じゃダメなの？」
と聞かれました。
別に、一個ではダメというわけではありません。
ただ、私はもともと、
AIが返してきた答えを、そのまま正しいものだとは思っていません。
自分自身がよく分かっていないことをAIに聞いている以上、一つのAIの答えだけに頼るのは、私にはちょっと怖い。
だから以前から、一つのことを進めるときでも、できるだけ複数のAIを使ってきました。
一つのAIに答えてもらう。
別のAIに、その答えの穴を探してもらう。
数字や事実関係を、また別に確認してもらう。
そんなことを繰り返しています。
その中で、ずっと感じていたことがありました。
同じことを聞いているのに、AIによって見つけるものが違う。
あるAIが全く気づかなかった穴を、別のAIがあっさり指摘することがあります。
逆もあります。
私は勝手に、
違う仕組みで動いているから、自分では気づかなかった穴が見えるのかな。
くらいに考えていました。
でも、本当にそうなのかは分かりません。
するとビット娘から、
「同じこと聞いてるのに？」
「なんで？」
と聞かれました。
そのとき私は、
「そこは、ちゃんと調べた方がいいね」
と答えました。
普段からかなり使っているのに、そういえばちゃんと説明できない。
なので今回は、
AIは、どうして同じ質問に違う答えを返すのだろう。
そこを少し覗いてみます。
そもそも、同じものに聞いているわけではなかった
最初に気づいたのは、かなり当たり前のことでした。
私は、
ChatGPTも。
Claudeも。
Grokも。
Geminiも。
まとめて「AI」と呼んでいます。
でも、全部が同じものではありません。
使っているモデルが違う。
モデルの世代も違う。
サービス側から与えられている指示も同じとは限らない。
Webを検索できるものもある。
外部の道具を使えるものもある。
つまり、
同じ文章を入力していても、完全に同じ仕組みに聞いているわけではない。
調べてみると、回答の違いは単純に「モデルが違うから」だけではなく、会話履歴、システム側の指示、メモリ、検索、ツール、モデルの更新など、いろいろな条件が関係しうることが分かりました。
考えてみれば当然なのですが、私は「AI」という一つの言葉でまとめすぎていたのかもしれません。
ただし、
ChatGPTはこういう性格。
Claudeはこういう性格。
という話でもなさそうです。
各社が内部で何をどう調整しているのか、すべてが公開されているわけではありません。
なので、
このAIはこういうロジックだから、こう答える。
と外から簡単に決めつけることもできません。
私が体感として「違うロジックで動いているように見える」と感じていたことと、内部で実際に何が起きているかは、分けて考えた方がよさそうです。
同じ「質問文」でも、同じ条件とは限らない
調べていて、これはかなり大きいなと思ったのがここでした。
例えば、二つのAIに、
AIは仕事をどう変えると思う？
と全く同じ文章を入力したとします。
人間から見ると、同じ質問です。
でもAIが見ているものは、その一文だけとは限りません。
それまでの会話。
保存されているメモリ。
カスタム指示。
添付した資料。
Web検索の結果。
使えるツール。
サービス側から与えられている指示。
そういうものが一緒に入っている場合があります。
つまり、
人間から見ると同じ質問でも、AIが見ている「机の上」は同じとは限らない。
これはかなり分かりやすい説明だと思いました。
同じ紙を机の上に置いて質問したつもりでも、
片方の机には前の会話が置いてある。
片方には資料がある。
片方はWebを見に行ける。
片方には別の指示が置かれている。
それなら、答えが違っても不思議ではありません。
AIは、完成した答えを取り出す箱でもない
もう一つ、私が少し勘違いしていたことがあります。
AIは、
質問を入れる
↓
中にある答えを取り出す
というものではありません。
少なくとも現在の大規模言語モデルは、入力された文章や文脈をもとに、その先に続く言葉を選びながら文章を作っています。
もちろん、適当に言葉を並べているわけではありません。
ただ、
この質問には、この完成文章を返す。
という一対一の答えが、最初から箱の中に置いてあるわけでもない。
さらに今のAIサービスは、文章を作るモデルだけで動いているとは限りません。
Webを検索したり。
外部の資料を参照したり。
別のツールを使ったり。
そういうものが組み合わさって、一つの回答が作られることもあります。
つまり、
「同じ質問をしたのだから、一つの同じ答えが返ってくるはず」
という前提自体が、少し違ったのかもしれません。
同じAIでも、少し変わることがある
ここは最近、自分でもかなり気になっていたところです。
別の会社のAIだから答えが違う、だけではありません。
同じAIに同じような質問をしても、毎回まったく同じ答えになるとは限らない。
これは普通のプログラムとは、かなり感覚が違います。
例えば、自分でコードを書いて、同じ条件で同じ処理を実行する。
基本的には、同じ結果を期待します。
でも生成AIとの会話は、それとは少し違う。
同一モデル・同一プロンプトでも出力が変わる場合があることは、公式資料でも確認できます。
一方で、条件を揃えることで再現性を高めることもできるため、
同じAIなら毎回必ず違う。
という話でもありません。
この性質を知ってから、私は最近、
同じAIにも自己監査をさせる
ことが増えました。
一度何かを書かせたあと、
「今の回答をもう一度監査して」
と頼みます。
すると普通に、
「ここは間違っていました」
と、自分でさっきの回答を修正することがあります。
最初は少し変な感じがしました。
さっき自分で書いたのに。
と思います。
でも生成AIは、前の回答を「自分の立場」として守る必要があるわけではありません。
もう一度問い直すと、さっきとは違う答えを出すことがあります。
だから私は、その性質自体を利用しています。
もちろん、
自己監査させれば正しくなる。
という話ではありません。
自己監査した答えまで間違っていることもあるでしょう。
それでも、
一回目の答えを、一回目の答えだけで終わらせない。
という使い方はできます。
調べていくと、この辺りにはいろいろな技術用語が出てきました。
ただ、そこまで行くと今回の寄り道が別の道へ行きそうなので、ここでは止めます。
「答えが違う」にも、いろいろあった
ここまで調べると、今度は、
答えが違う。
という言葉自体が雑だったことに気づきました。
例えば二つのAIを比べたとき。
言い方が違う
書いてある内容はほぼ同じ。
ただ、片方は短い。
片方は長い。
例え話が違う。
これは、事実が食い違っているわけではありません。
見ている論点が違う
同じテーマでも、
片方はメリットから話す。
片方はリスクから話す。
どちらかが間違っているというより、どこを先に見るかが違う。
前提の取り方が違う
質問が少し曖昧だと、
AIが「こういう意味だろう」と補った前提自体が違うことがあります。
すると、そこから先の答えも変わります。
見ている情報が違う
検索結果。
渡した資料。
情報の時点。
これが違えば、当然出てくる答えも変わります。
慎重さが違う
あるAIは、
分かりません。
と止まる。
別のAIは、
おそらくこうです。
と先まで答える。
この違いも、利用する側から見るとかなり大きい。
そして、本当に事実が違う
数字が違う。
日付が違う。
存在するはずのものが、片方では存在しない。
これはさすがに、
まあ見方の違いだよね。
では済みません。
確認が必要です。
なので、
答えが違う＝どちらかが必ず間違っている
でもない。
でも、
違う答え＝どちらも正しい
でもない。
まず何が違っているのかを見る方がよさそうです。
私は、AI同士に監査させることがある
ここまで調べて、最初の話へ戻ります。
私は以前から、一つのAIだけで終わらせず、別のAIにも見てもらうことがあります。
理由は単純で、
一つ目が気づかなかった穴を、二つ目が見つけることがあるからです。
これはかなり体感があります。
一つのAIが作った答えを、そのAI自身に見直させても気づかなかったところを、別のAIへ渡した途端、
「ここ、おかしくないですか」
と指摘されることがあります。
逆もあります。
人間っぽく言えば、
自分の穴には気づきにくいけれど、他人の穴には気づく。
ようにも見えます。
私はずっと、
違うAIは違うロジックで動いているから、別のAIの穴を見つけやすいのかな。
くらいに考えていました。
ただ、今回調べてみると、そこまで単純ではありませんでした。
モデルそのものだけでなく、
与えられている指示。
会話の文脈。
検索。
参照している情報。
使えるツール。
生成時の条件。
いろいろな違いが回答に関係しています。
なので、
別のAIだから、必ず独立した別の目で見てくれる。
とは言えません。
それでも実際に使っていると、
あれ。
ここは片方しか触れていない。
とか、
数字が違う。
とか、
そもそもの前提が違う。
という場所が出てきます。
私はその差を、
「どちらを信じるか」ではなく、「ここはもう一度確認した方がいい場所だ」
という印として使っています。
でも、みんな同じ答えなら安心なのか
ここで、反対側も調べてみました。
違うAIに聞いた。
三つとも同じことを言った。
だったら、かなり安心できそうです。
私もそう思ってしまいます。
でも、ここにも落とし穴があるようです。
違うAIでも、似た情報をもとに、同じ方向へ間違うことがあります。
実際、複数のLLMの誤りが互いに独立ではなく、同じ誤答へ集まる「相関した誤り」を扱った研究があります。
つまり、
別会社のAIを使ったから、完全に独立した監査になった。
とは限らない。
さらに、AIは質問した人の言い方や前提に引っ張られることがあります。
例えば、
これって、やっぱり○○ですよね？
のような聞き方をすると、
その前提へ寄った回答が返ることもあります。
いわゆる「迎合」と呼ばれる問題です。
ということは。
一つ目のAI。
二つ目のAI。
三つ目のAI。
全部に同じ聞き方をして、
全部が、
そうですね。
と言ったとしても。
それだけで、
三対ゼロだから正解。
とはならない。
これは、自分の使い方にも結構刺さりました。
AIを増やすことと、確認することは同じではない
例えば数字を確認したいとき。
ChatGPTに聞く。
Claudeにも聞く。
Grokにも聞く。
Geminiにも聞く。
四つとも同じ数字だった。
そこで、
よし、確認できた。
としてしまう。
でも、本当に確認するなら、
元の資料を見た方がいい。
公的な数字なら公式資料。
会社の数字なら公式発表。
研究なら元の論文。
複数の生成結果を比べたり、複数のAIエージェントを使ったりすることで、一部の課題では精度が改善した研究もあります。
ただ、それは、
複数AIが一致したら事実確認完了。
という意味ではありません。
同じ誤った前提や情報に依存すれば、複数AIが同じ方向へ間違う可能性があります。
つまり、
AIを増やすことと、根拠を増やすことは同じではない。
私はもともと、
AIの答えをそのまま正しいとは思わない。
というところから複数AIを使い始めました。
実は、こういう寄り道観測を書くときも、一つのAIだけで調べているわけではありません。
今回も、
複数のAIで調べ、別のAIに反証してもらい、さらに複数のAIで文章を監査しています。
それでも、大事な事実は元の資料へ戻ります。
そこまでやっても、
AIが言ったから正しい。
とは思っていません。
そして今回調べてみると、
複数使っているから安心、でもなかった。
そこは少し、自分の認識を直したところです。
「どれを信じる？」ではなく、「何が違う？」
最初の疑問は、
同じ質問なのに、なんで違う答えになるんだろう。
でした。
調べる前から、
AIによって考え方が違うように見える。
という体感はありました。
そして、
だから複数AIに監査させると穴を見つけやすい。
とも思っていました。
そこは今も、実際に使う中では感じています。
ただ、調べてみると、
それを単純に、
AIごとにロジックが違うから。
だけで説明することはできない。
同じ質問文でも、AIが見ている条件まで同じとは限らない。
AI自身も、固定された一つの文章だけを返しているわけではない。
検索やツールまで含めれば、答えを作る材料も変わる。
そして、
違うAI同士でも、同じ穴を持っていることがある。
だから今は、
二つのAIの答えが違ったとき、
どっちが正しい？
とすぐ考える前に、
何が違うんだろう。
と見るようにしています。
言い方が違うのか。
論点が違うのか。
見ている情報が違うのか。
前提が違うのか。
それとも、本当に事実が違うのか。
違いそのものが答えではありません。
AIが私の思い込みを正してくれる、とも思っていません。
でも、
ここは一度立ち止まった方がいい。
そう気づくきっかけにはなる。
自分で一度作らせて。
同じAIにももう一度見直させて。
別のAIにも見てもらって。
それでも大事な事実なら、最後は元の資料を見る。
今のところ、私はそんなふうにAIを使っています。
そして、調べていてもう一つ気になったことがあります。
ChatGPTも。
Claudeも。
Grokも。
Geminiも。
私は普段、全部まとめて「AI」と呼んでいます。
でも。
こういう画面で触っているAIは、AIの話のどのあたりにいるんだろう。
関連する記事
▼AI編マガジン
▼マクロ寓話小説マガジン
主な参照資料
OpenAI｜Aligning language models to follow instructions
LLMが次の語・トークンを予測する形で学習し、その後の調整によって応答の振る舞いが変わることを確認するために参照。
https://openai.com/index/instruction-following/
OpenAI｜Memory / Custom Instructions
同じ質問文でも、メモリやカスタム指示などの追加文脈が回答に影響しうることを確認するために参照。
https://help.openai.com/en/articles/8983151-is-memory-different-from-custom-instructions
OpenAI｜Searching the web with ChatGPT
Web検索によって、モデル内部の情報だけでなく外部情報が回答材料になることを確認するために参照。
https://help.openai.com/en/articles/9237897-chatgpt-search
OpenAI Cookbook｜Reproducible outputs with the seed parameter
同一モデル・同一プロンプトでも完全な決定性が保証されない場合があることを確認するために参照。
https://cookbook.openai.com/examples/reproducible_outputs_with_the_seed_parameter
Google Cloud｜GenerationConfig
seedなどを用いて再現性を高めても、完全な決定論的出力が保証されるわけではないことを確認するために参照。
https://cloud.google.com/vertex-ai/generative-ai/docs/reference/rest/v1beta1/GenerationConfig
Google AI for Developers｜Grounding with Google Search
検索結果を外部コンテキストとして回答に取り込む仕組みの確認に使用。
https://ai.google.dev/gemini-api/docs/google-search
Kim et al.｜Correlated Errors in Large Language Models（ICML 2025）
別々のLLMであっても誤りが独立しているとは限らず、同じ誤答へ集まることがあるという研究。
https://icml.cc/virtual/2025/poster/44225
Anthropic｜Towards Understanding Sycophancy in Language Models
AIがユーザーの示した考えや前提に合わせ、正確さよりもユーザーに好まれそうな回答へ寄る「sycophancy（迎合）」について確認するために参照。
https://www.anthropic.com/research/towards-understanding-sycophancy-in-language-models
Wang et al.｜Self-Consistency Improves Chain of Thought Reasoning in Language Models
複数の生成結果を利用することで、一部の推論課題において性能が改善する場合があることを確認するために参照。
https://research.google/pubs/self-consistency-improves-chain-of-thought-reasoning-in-language-models/
Du et al.｜Improving Factuality and Reasoning in Language Models through Multiagent Debate
複数モデル・複数エージェントによる検討が、一部タスクで推論や事実性を改善しうることを確認するために参照。
https://proceedings.mlr.press/v235/du24e.html
