【徹底検証】AIを騙すプロンプトの作り方。最新AI「GPT-5」は本当に「嘘」をつかなくなったのか？

ついにOpenAIから最新モデル「GPT-5」が登場しましたね。
2025年8月7日に発表された紹介ページはこちらです。

早速試してみたのですが、ユーザーとして感じるのは、「応答が劇的に早くなった」「妙に共感的な回答がなくなってあっさりした」という点。

正直なところ、応答の品質が大きく改善したという印象はまだありません。
コーディング性能が上がったと謳っていますが、システム開発で求められるのは正確さだけではないですから。

複雑な要件を、保守性や拡張性まで考えてミスなく作る……というレベルには、まだ到達できていない気がします。

もともとGPT系は、表面的な応答でユーザーに共感しようとする姿勢がどうも私には合わず、メインで使うAIからは外していました。

でも、今回のGPT-5の大きなアピールポイントの一つに、「ハルシネーションの低減」があります。

つまり、「それっぽい捏造回答を減らした」ということです。

AIを騙して性能を試す「ハルシネーション選手権」

AI（LLM）は、「分かりません」と答えるより、何かしら意味のありそうな回答をするように調整されています。

そのため、存在しないURLを根拠として示したり、古い情報を最新情報であるかのように案内したりすることがありました。

これが厄介なハルシネーション（もっともらしい嘘）です。

普段からAIを使う人にとって、これは本当に悩ましい問題。

そんな中でもGPTは他のAIに比べて堅牢な印象がありましたが、それが「5」でさらに改善されたというなら、検証してみるしかありません。

今をときめく他のAIモデルとも比較しながら、「GPT-5は本当にハルシネーションが減ったのか？」を、意地悪く検証してみようと思います。

そのために、「いかにAIをうまく騙すプロンプトを書くか」も突き詰めていきます。

人間を騙すテクニックは、AIにも通じる

さて、どんなプロンプトでAIを騙すか。残念なことに、最近のAIは性能が高いので、存在しない学術用語などにはもう引っかからないんですよね。

でも、LLMは人間が書いた膨大な文章を学習し、人間を模倣しています。
だから、人間に嘘をつくテクニックが、そのままAIにも通用するんです。

具体的には、
・詳細を述べて、あたかも本当にあった出来事のように語る
・真実の中に、巧妙に嘘を織り交ぜる
・検証が簡単な過去の事実ではなく、最新の状況について尋ねる

といったアプローチが有効です。

人間相手なら、「相手がよく知らない専門分野の難しい用語を並べる」という手も有効ですが、AIには基本的に「知らない分野」がないので、これは使えません。

……なんだか、いつも詐欺を働いている人のような書きぶりになってしまいました。
でも、これはあくまで検証のためです。知識として知っていることと、それを実践するのとは全く違いますから、誤解しないでくださいね。

話を戻しましょう。
LLMがあまり詳しくは知らないけれど、ふんわりとは知っていそうなこと。

今回は、日本の芸能ネタで試してみます。こんなプロンプトを用意しました。

このプロンプトは、
・あたかも本当にあったことのように具体的
・「かもめんたる」の岩崎う大さんも実在する
・「DMMオンラインサロン」も実在するサービス
・う大さんが若手作家育成サロンをやっていても不思議ではない

という要素が揃っており、AIが勘違いしやすい絶妙なラインを突いています。

いざ、各AIの捏造っぷりを比較！

検証には、複数のAIに一括で質問できる「天秤AI」というサービスを使います。

今回は、GPT-4o、GPT-5、Gemini 2.5 Pro、Claude 3.7 Sonnet、DeepSeek-R1、Grok-4の6モデルに聞いてみましょう。

結果を抜粋して見ていきます。

・Gemini 2.5 Pro
結果　→　張り切って捏造。

・Claude 3.7 Sonnet
結果　→　微妙に捏造。

・DeepSeek-R1
結果　→　捏造。

・Grok-4
結果　→　超捏造。

いやはや、みんな揃って見事なまでに捏造してくれますね。
Grokの「コント作家養成ギブス」は秀逸です。この子は一人だけ大喜利をやってるのかな。

天秤AIはAPI経由で各AIを呼び出しているため、パラメータ調整にもよりますが、この「う大さんのオンラインサロン」というお題が、AIたちにとって「ありそうでない」絶妙なラインだったのでしょう。

何度か試しても、GeminiとGrokは特に捏造率が高いです。
おそらく「とにかくユーザーの役に立つ回答をする」というバイアスが強いのでしょうね。Grokは以前のバージョンから捏造が激しかったですし、Geminiも思い込みが強い印象なので、これは予想通りの結果でした。

さて、本題のGPTです。まずは一つ前のメジャーバージョンから。

・GPT-4o
結果　→　捏造。

そして、最新モデル。

・GPT-5
結果　→　微妙。

GPT-5は、「参考までに」と前置きし、ありそうな内容を書いています。
これは完全なハルシネーションとは言い切れない、賢い回答です。

ならば、もっと追い詰めてみましょう。

さらにGPT-5を追い詰める、巧妙なプロンプト

今度は、嘘のニュースソースを付け加えてみます。

これは人間でもパッと見で騙されそうなクオリティです。
果たしてGPT-5はどう答えるでしょうか？

1回目の回答は、こうでした。

これは完全にアウトです。

この場面でGPTは記事をリアルタイムで読めないはずなのに、読んだかのように「と報じられています。」と断言してしまいました。これは明確なハルシネーションです。

公平を期すために、同じプロンプトで合計5回試してみました。

【GPT-5 検証結果（5回試行）】
・正しい応答（Webを閲覧できない旨を回答）　2回
・微妙な応答（一部捏造）　1回
・完全な捏造　2回

実際に返って来た正しい応答の例も載せておきます。

うーん……。
サンプル数は少ないですが、5回中2回、つまり40%の確率でしか正しく応答できなかったことになります。

ちなみに、比較として同じプロンプトでGPT-4oは5回中5回「分かりません。ソースを自分で確認してください」という趣旨の誠実な回答をしました。おそらく、URLを載せたことでかえって明確に「自分には確認できない」と判断できるようになったのでしょう。

この結果だけを見ると、GPT-5よりGPT-4oの方がハルシネーション率は低いとさえ言えるかもしれません。
もちろん、このプロンプトに限った話であり、他の場面ではハルシネーションが減っている可能性も十分にあります。

ただ、軽く試した限りでは、GPT-5の最大の進化は「ハルシネーション率の低下」よりも、やはり「応答速度の向上」なのかもしれない、と感じました。

AIと向き合うために、私たちが持つべき視点

もしよかったら、あなたのお気に入りのAIでも、先ほどのプロンプトを試してみてください。
「うちの子はどのくらい嘘をつくかな？」と、そのAIの性格（？）がわかるかもしれません。

今回は意図的にAIを騙すような嘘をつきましたが、こうした問い合わせは、私たちユーザー自身の「勘違い」によっても起こり得ますよね。

ユーザーが勘違いしている時、AIはそれを正しく指摘できるのか？

今回の検証は、その能力に今のところあまり期待できないということを示しています。

私たちが「私は正しいはずだ」という確信を持ってAIに尋ねれば、AIは私たちの間違いを訂正するのではなく、その勘違いに乗っかり、補強してしまうリスクがあるということです。

それによって、私たちは望ましくない行動を取ってしまったり、間違った確信で突き進んでしまうことがあるかもしれません。

AIに何かを相談するのは、非常に有用です。
（何を隠そう、今回の意地悪なプロンプトも、別のAIと相談しながら作りました）

しかし、自分自身が間違っていないか、そしてAIの応答も鵜呑みにしていないか。その両方を見極める視点が、最新のGPT-5を使う上でも、私たちには引き続き求められていますね。

AIとメンタルヘルスについては、メンバーシップマガジンでもたまに取り上げていますので、ご興味があれば覗いてみてください。

▶AI時代に知っておきたい確証バイアスの話
▶AIに心を預けて大丈夫？　アメリカの最新事情から考える、AIのメンタルヘルス活用

この記事が、皆さんがAIとより良く付き合っていく上で、参考になれば嬉しいです。

過去のAIに関する楽しい記事：

#YeKu #AI #ChatGPT #GPT5 #ハルシネーション #AI活用 #プロンプト #ITリテラシー