【第96回】ChatGPTの嘘を現場でどう見抜いているか｜ハルシネーション対策の実践

参考文献のリストをもらって、その中の1本を深く読もうとしました。

ダウンロードしに行ったら、その論文が存在しませんでした。著者名も雑誌名も発行年も、それらしく揃っていたのに。

私は放射線技師として16年、300床以上の病院で働きながら、院内のAIチームのリーダーをしています。医療職がAIを使うとき、いちばん怖いのは「堂々と間違えること」です。分からないと言ってくれれば警戒できますが、自信のある文章で間違えられると、そのまま通ってしまう。

この記事では、嘘をなくす方法ではなく、嘘が混ざる前提での運用を書きます。実際に見抜いた2つの場面と、そこから分かった変化も含めて。

なぜAIは嘘をつくのか

仕組みの話を最小限だけ。

ChatGPTのような生成AIは、事実を調べて答えているのではありません。「次に来る言葉」を確率で予測して、文章を組み立てています。正しく答えることより、もっともらしい文章を作ることのほうが得意な道具です。

だから、知らないことも埋めます。「分かりません」と言うのは、確率的にはあまり出てきにくい答えなのです。

悪意でも故障でもありません。仕組みからそうなっている。この前提を持っているかどうかで、使い方がまるで変わります。

減った嘘と、残っている嘘

ここが今回いちばん書きたいところです。

私は数年前からAIを業務で使っていますが、遭遇する嘘の種類が変わってきました。

存在しない論文は、明らかに減った

冒頭に書いた話です。参考文献として挙がった論文を、ダウンロードしようとしたら存在しなかった。数年前までは、かなりよくあることでした。文献を調べるたびに疑ってかかる必要があった。

これは、今は明らかに減っています。頻度が下がったという実感があります。

ガイドラインの版ずれは、今も起きる

もうひとつ。安全に関わることを確認しようとして、ガイドラインの内容を聞いたときです。

返ってきた内容は、古い版のものでした。最新版とは違っていた。しかもこれは、比較的最近でも起きています。

同じ「嘘」でも、こちらは減っていません。

この差が意味すること

なぜ片方が減って、片方が残るのか。ここは私の推測として書きます。

存在しないものを作り出すことと、実在するけれど古い情報を出すことは、性質が違います。前者は生成そのものの問題ですが、後者は「いつの情報を持っているか」の問題です。前者のほうが改善しやすかったのではないか、と考えています。あくまで推測なので、断定はしません。

ただ、確かなことがひとつあります。

見つけやすい嘘が減って、見つけにくい嘘が残りました。

存在しない論文は、ダウンロードしに行けば分かります。行動すれば必ず露見する。一方、古い版のガイドラインは、読んでも違和感がありません。それらしく整っていて、内容として筋が通っている。原典に当たらない限り気づけない。

だから「AIが賢くなったから確認は要らない」ではないのです。むしろ、確認の重心をずらす必要があります。

生成前の対策｜白紙で聞かない

嘘を減らす方法は、実は出力を検証することより手前にあります。根拠を先に渡すことです。

白紙の状態で「◯◯について教えて」と聞くと、AIは持っている確率から文章を作ります。ここに嘘が混ざる。逆に、資料を渡して「この中から答えて」と指示すれば、嘘の入り込む余地はかなり減ります。

現場でやっているのは、この3つです。

・資料を添付して範囲を限定する。PDFやテキストを渡し、「添付の範囲で答えて、書かれていないことは書かないで」と指定します。
・ソースを限定できるツールを使う。渡した資料の中だけで答えるタイプのツールがあります。文献を扱うときの手順は別の記事にまとめました。
・カスタム指示に「不明なら不明と言う」を入れておく。毎回書かなくて済むので、これは効率がいいです。

この「渡した資料の中から答えさせる」仕組みは、RAGと呼ばれます。言葉としては知っておいて損はありませんが、使う側は仕組みの名前より「範囲を限定する」という考え方だけ押さえれば足ります。

・NotebookLMで論文を読む手順｜「Gemini Notebook」に変わった今の文献整理の実運用

何をどう渡すかについては、文脈の渡し方を7つに整理した記事があります。

・ChatGPTプロンプトのコツは命令文ではなく「文脈」｜医療職が渡すべき7つ

生成後の対策｜ルールは変えず、重心を移す

以前、実践ルールを5つにまとめて書きました。あらためて読み返しましたが、ルール自体を変える必要はありませんでした。変わったのは、どこに力を入れるかです。

とくに4番目です。学習データには時点があり、頻繁に更新されるガイドラインや添付文書は、その時点のままで返ってくることがある。存在しない論文が減ったぶん、ここが相対的に危険になりました。

ひとつ実務的なことを付け加えると、AIが提示したURLも確認の対象です。リンクが張ってあると、それだけで裏取りが済んだ気になりますが、URL自体が実在しなかったり、実在しても中身が引用内容と違ったりします。踏んで、読む。ここまでやって確認です。

・医療AIは「嘘をつく」。それでも使いこなすための実践ルール5つ

確認の濃淡を、先に決めておく

ここまで読んで「全部確認するのは無理だ」と思ったなら、その感覚が正しいです。

すべての出力を同じ濃度で検証していたら続きません。続かない運用は、いずれ確認そのものをやめる方向に崩れます。だから、業務ごとに確認レベルを先に決めておきます。

この仕分けを1枚作っておくと、毎回悩まなくて済みます。判断が速くなるだけでなく、「ここは確認しなくていい」と決めた範囲では安心して使えるようになります。

一番下の行だけは動かさないでください。対策をしても、嘘が混ざる可能性はゼロになりません。診療上の判断に直接関わる部分は、AIの出力を根拠にしない。ここは今も変わっていません。

情報の審査をもっと体系的にやりたい方向けに、ニュース・論文・製品を1枚で審査するワークシートを有料で用意しています。この記事の4段仕分けを、実際の判断に落とし込む道具です。

・医療職のためのAI情報読解ワークシート｜ニュース・論文・製品を1枚で審査する（980円）

まとめ｜嘘は消えない。見えにくくなっただけ

・AIは事実を調べているのではなく、確率で次の言葉を予測している。だから知らないことも埋める
・存在しない論文は明らかに減った。一方でガイドラインの版ずれは、比較的最近でも起きる
・見つけやすい嘘が減り、見つけにくい嘘が残った。確認が不要になったわけではない
・対策の本体は生成前にある。白紙で聞かず、資料を渡して範囲を限定する
・実践ルール5つは変える必要がなかった。重心が「公式情報の確認」に移った
・全部を同じ濃度で確認しない。業務ごとに4段で仕分ける

この記事から持ち帰っていただきたいのは、最後の4段仕分けです。自分の業務を、確認なし・軽く確認・全数確認・使わない、の4つに割り振った1枚を作ってください。

嘘を恐れて使わないのでも、賢くなったからと信じるのでもない。仕分けておくことが、その間にある第3の道です。

医療現場でのAI活用は、これからも実際に試した範囲で書いていきます。関連記事はこちら。

・医療AIは「嘘をつく」。それでも使いこなすための実践ルール5つ

・AI出力をそのまま使わないためのチェックリスト｜医療職が最後に見るべき5項目

・医療AI論文のAbstractだけで判断しない｜最初に見るべき5つの欄

・医療職のためのAI業務切り分け｜任せていい作業、任せてはいけない作業

よろしければフォローしていただけると、更新をお届けできます。

本記事の内容は筆者個人の見解であり、所属する医療機関の公式見解を代表するものではありません。記事中のAIの挙動に関する記述は、筆者が業務で使用した範囲での実感であり、モデルやサービス、利用時期によって異なります。嘘の頻度が減ったという記述は、対策が不要になったことを意味しません。対策を講じても誤情報が混入する可能性は残ります。診療上の判断、投薬、検査の適応に関わる内容について、生成AIの出力を根拠としないでください。医療情報は必ず原典および所属施設の規程で確認してください。患者情報および院内固有の情報を外部サービスに入力しないでください。本記事を参考にしたことによって生じた損害・不利益について、筆者は一切の責任を負いかねます。