【第4回】医療AIは「嘘をつく」。それでも使いこなすための実践ルール5つ
「AIが出した情報を信じて、調べ直したら全然違った」
医療職に限らず、AIを使ったことのある方なら、一度はこういった経験をしているのではないでしょうか。あるいは同僚から聞いたことがあるかもしれません。これは使い方が悪いのではなく、AI固有の特性によるものです。「ハルシネーション」という現象です。
医療という領域は特にこのハルシネーションに注意する必要が強いです。仕組みを知れば対処できますのでしっかり理解しましょう。
ハルシネーションとは何か
ハルシネーションとは、AIが「もっともらしいが事実ではない情報」を生成してしまう現象です。
なぜこれが起きるのか、極力シンプルに説明します。
ChatGPTやClaudeのような生成AIは、大量のテキストを学習して「次にどの言葉が来やすいか」を予測することで文章を生成しています。確率で決定します。
言い換えると、「正しいことを答える」のではなく「それらしい文章を組み立てる」ことが得意なシステムです。
この性質上、確信を持てない情報でも「それらしく」出力してしまうことがあります。しかも、誤りを自覚していないのがやっかいなところです。
医薬品の用量、検査の基準値、ガイドラインの改訂内容。こういった「数字や固有の事実」が絡む場面では、特に注意が必要になります。
医療現場で実際に起きうるリスク
いくつか場面を挙げてみます。
薬剤の禁忌や投与量をAIに確認したら、古いバージョンの情報が返ってきた
論文のエビデンスレベルや引用文献をAIに要約させたら、存在しない論文が出てきた
ガイドラインの最新改訂内容をAIに聞いたら、改訂前の内容で答えてきた
医療機器の添付文書の内容をAIに確認したら、細部が微妙に違っていた
私が院内でAI活用を推進している立場として正直に言うと、「AIを信じて確認を省略したら誤りだった」という経験は自分でも何度かあります。使いはじめの頃の話ですが、この感覚を持つことが出発点になりました。
現場で使える実践ルール5つ
以下は、私が日常的に意識しているルールです。理屈よりも「明日から使える」ことを重視して選びました。
ルール1：数字と固有名詞は必ず一次情報で確認する
「それらしい数値」こそハルシネーションが紛れ込みやすいです。用量・基準値・改訂日・製品名など、数字や固有名詞が含まれる情報は、AIの回答をそのまま使わず、添付文書・ガイドライン・公的データベースで必ず照合してください。
最近のAIはリファレンス（参考資料、URL）もちゃんと提示してくれますので、確認もだいぶ楽になりましたね。しかし、一見すると信頼性が高まったように見えますが、実はここにも落とし穴があります。
提示されたURLが存在しない、論文名は実在するが内容の引用が間違っている、といったケースが報告されています。「出典付きだから大丈夫」という安心感が、むしろ確認を省略させてしまうことがあります。
数字・用量・基準値・製品名が含まれる情報は、AIが出典を示していても、実際に添付文書・ガイドライン・公的データベースで中身を確認してください。出典の「存在確認」だけでなく「内容の照合」まで行うのが基本です。
「AIを信用しない」のではなく、「最終確認は人間がやる」という当たり前の手順を守るということが大事です。
ルール2：「教えてもらう」より「叩き台を出してもらう」という使い方に切り替える
「この薬の禁忌は？」と聞くのと、「この薬の禁忌を調べるためのチェックリストを作って」と聞くのでは用途が違います。
前者は答えそのものをAIに頼っています。後者は、自分が確認する作業の効率を上げるためにAIを使っています。
医療判断に関わる場面では、AIを「答えを出す機械」ではなく「作業の補助ツール」として使う意識が重要です。
ルール3：「確認しました」と言わせるより「不確かな情報を教えてもらう」
AIに「この内容に問題はないですか？」と聞くと、多くの場合「問題ありません」と返ってきます。これはほぼ意味がありません。
代わりに、「この内容のうち、あなたが自信を持てない部分や要確認の箇所を教えてください」と聞くと、モデルによっては正直に「ここは確認が必要です」と返してくれることがあります。
完璧ではありませんが、より有用な使い方です。
ルール4：公式ソースの確認は省略しない
多くの生成AIにはカットオフ（学習データの期限）があります。たとえば2025年5月がカットオフ値と設定されているAIには2026年のことを聞いても正しい回答ができません。
最近はWebブラウジング機能を持つAIが増えており、「今日時点の情報」を参照できるモデルも出てきています。これ自体は大きな進歩です。
ただし注意が必要なのは、AIがWebを検索して要約した内容も、ハルシネーションのリスクが完全になくなるわけではないということです。検索結果の解釈を誤ったり、複数ページの情報が混在したりすることがあります。
ガイドラインや薬事情報は頻繁に更新されます。「最新の〇〇は？」と聞いても、学習時点の情報しか持っていない可能性があります。最新性が求められる情報ほど、公式ソースを確認する習慣をつけておきましょう。
ルール5：「一回の回答」を信じすぎない
前述の通り、AIの回答は確率で決定しますので、同じ質問を少し言い方を変えて繰り返すと、異なる回答が返ってくることがあります。一度だけ聞いて確信を持つのは危険で、特に重要な事柄については複数回・複数の観点から確認することが有効です。
まとめ
ハルシネーションは欠陥ではなく、現在の生成AI技術の仕様です。なくなることへの期待より、「起きることを前提にどう使うか」を考えた方が実用的だと思っています。
ルールをまとめると、以下の通りです。
数字・固有名詞は一次情報で照合する
「叩き台を出してもらう」使い方にシフトする
不確かな箇所を自己申告させる問い方をする
公式ソースの確認は省略しない
重要な内容は複数回確認する
AIは正しく使えば強力な武器になります。その前提として、弱点をきちんと知っておくことが必要です。
次回は「医療AIにはNotebookLMが最適か？現役放射線技師が実際に使って分かったこと」をお届けする予定です。
