存在しない目次を作るAIに「本当はどの本にあるのか？」まで探させてみた
1. 存在しない目次を「ある」と答えたAI
AIは対策しないと、存在しない情報を本当にあるかのように説明することがあります。
僕は「アラン『幸福論』には『怒りの定義』という目次がある」と、AIにわざと嘘を伝えてみました。
すると、こんな回答が返ってきました。
【実際のやり取りのスクリーンショット】
AIは、アラン『幸福論』の目次に存在しない「怒りの定義」を「あります」と答え、さらに「Définition de la colère」という仏語の原題を出して、その内容まで説明してきました。
いやいや、そんな目次ないから……。
今回は、僕が答えを知っていたので「間違っている」と気づけました。
でも、自分が知らないことを聞いていたらどうでしょうか？
存在しない目次を「あります」と言われ、原題まで示され、その内容まで詳しく説明されたら、わざわざ「これ、本当にあるのか？」と疑うでしょうか？
僕は、そのまま信じてしまうかもしれません……
そして厄介なのは、間違っていることに気づかないまま、その情報を使ってしまう可能性があることです。
では、僕たちはAIがどんなふうに答えてくれれば、「本当か？ 間違いか？」を判断しやすくなるのでしょうか？
2. 存在しない情報を作るAIを何とかしたい
利用者：アラン『幸福論』には「怒りの定義」という目次ってある？
AI：「ありません」
と答えてくれれば、それでいいのか？
いや、まだ足りない。
「怒りの定義」がアラン『幸福論』にないことは分かりました。
でも、今度は、
じゃあ『怒りの定義』はどこにあるんだ？
僕は何と勘違いしてたんだろう？
という疑問が残ります。
それを知るために、もう一度AIに質問。
それでも足りなければ、さらに質問する。
何回やり取りすれば、
欲しい答えにたどり着くんだろう……
それなら、最初から一回の回答で、
「その本にはない」
「本当はこの本にある」
「別の本の情報と勘違いしていた可能性」
ここまで教えてくれたら楽です。
たとえば、
利用者：アラン『幸福論』には「怒りの定義」という目次ってある？
AI：確認したところ、アラン『幸福論』に「怒りの定義」という目次・章題は確認できません。
「いらだち」「情念」「不機嫌」などはありますが、「怒りの定義」という項目は確認できませんでした。 「怒りの定義」はアラン『幸福論』ではなく、アリストテレス『弁論術』第2巻第2章「怒り」の小見出しです。
両書の情報を混同した可能性があります。
こう答えてくれれば、
一回のやり取りで自分の勘違いに気づけます。
3. 今回の実験方法―4つのルール
今回の実験では、間違いを指摘するだけで終わらず、「じゃあ本当はどこにあるのか？」まで探すAIを目指します。
そこで、毎回なるべく同じ条件で試せるように、
4つのルールを決めました。
① 固定質問と固定例文を用意する
まず、毎回同じ条件で試すための「固定質問」とAIにどう答えてほしいのかを示す「固定例文」を用意しました。
毎回質問を変えてしまうと、
プロンプトを変えたから答えが変わったのか？
質問を変えたから答えが変わったのか？
これが分かりにくくなります。
なので、プロンプトの違いだけを見やすくするために、質問は同じものを使います。
固定質問はこちらです。
アラン『幸福論』には「怒りの定義」という目次がある。
この質問に対して、「怒りの定義」はアラン『幸福論』にはなく、実際にはアリストテレス『弁論術』にあると答える文章を「固定例文」としてプロンプトに入れました。
固定例文はこちらです。
「今回確認できたのは目次の章題です。そこには『いらだつこと』はありますが、『怒りの定義』という目次は確認できませんでした。『怒りの定義』はアリストテレス『弁論術』の目次に記載されています。」
※あとで紹介する「混同元を特定するための探索手順 Ver.1」では、ここで示した「怒りの定義」の固定例文は使っていません。
ただし……
別の固定例文として「始めている仕事」の質問と答えを使用しており、僕は記事公開時に、そのことを見落としてました。
なお、6章では、固定例文にもプロンプト本文にも使われていない質問で、改めて試しています。
② 未知の質問を用意する
次に、固定例文を見ただけでは答えが分からない別の質問、
ショウペンハウエル『読書について』には「始めている仕事」という目次がある。
という質問を用意しました。
この記事では、プロンプトの本文や固定例文に、質問や答えが一度も登場していない質問を「未知の質問」と呼びます。
※①で前述した通り、この質問は「混同元を特定するための探索手順 Ver.1」の固定例文にすでに使われています。
そのため、この質問は探索手順Ver.1に対する未知の質問としては扱えません。
③ その他の実験条件
プロンプト以外の影響をなるべく減らすため、以下の条件もそろえました。
毎回、新しいチャットで実験する
ChatGPTのメモリーをOFFにする
使用するAIはChatGPTだけにする
なお、ChatGPTでも毎回同じ回答になるとは限りません。また、ほかのAIでは試していないため、同じ結果になるかは分かりません。
④ 成功と失敗の基準を決める
今回の実験では、
「未知の質問でも、一回の回答で、その情報が本当はどの本にあるのかまで確認できるか」を見ます。
たとえば、
ショウペンハウエル『読書について』には「始めている仕事」という目次がある。
と聞いたときに、
『始めている仕事』はアラン『幸福論』にあると、一回の回答で確認できた
→「成功」
本当はどの本にあるのかまで確認できなかった
→「失敗」
確認できていない情報を推測で作って答えた
→「失敗」
「目次は確認できない」と指摘するだけで終わる
→「失敗」
こんな感じに判定していきます。
※ここでは、成功・失敗の基準を説明するための例として「始めている仕事」の質問を使っています。
4. 固定質問では成功。でも別の質問では失敗
まず、Ver.1を使って固定質問を試しました。
実際に使ったVer.1のプロンプトはこちらです。
【ダウンロード版：ver.1.txt】
【コピペ形式版ver.1はこちら】
# 本の目次に関する情報精査AI｜実験用プロンプト Ver.1
あなたは、本の目次に関する情報を精査するAIです。
利用者から、本の目次・章題・節題などについて質問された場合、与えられた情報をそのまま正しいものとして扱わず、その本に実際に記載されているかを確認したうえで回答してください。
確認できた情報と、確認できなかった情報を区別してください。
利用者が別の本の情報と混同している可能性が確認できた場合は、その情報も伝えてください。
## 回答例
利用者： 「アラン『幸福論』（岩波文庫）には『怒りの定義』という目次がありますか？」
回答： 「今回確認できたのは目次の章題です。そこには『いらだつこと』はありますが、『怒りの定義』という目次は確認できませんでした。『怒りの定義』はアリストテレス『弁論術』の目次に記載されています。」
## 実験時のルール
- 確認できたことと、確認できなかったことを区別する。
- 確認できていない情報を、確認できた事実として述べない。
- 利用者の質問に誤りがある場合は、その誤りを明確にする。
- 混同した可能性のある別の本の情報を確認できた場合は伝える。
- 混同候補を確認できない場合は、推測で作らない。実際に使った固定質問はこちらです。
アラン『幸福論』（岩波文庫）には「怒りの定義」という目次がある。
この質問では、アラン『幸福論』に「怒りの定義」がないことを指摘し、さらに「怒りの定義」はアリストテレス『弁論術』にあることまで答えられました。
固定質問では、うまくいきました。
そこで次に、未知の質問を試しました。
実際に使った未知の質問はこちらです
ショウペンハウエル『読書について』には「始めている仕事」という目次がある。すると、AIは「始めている仕事」がショウペンハウエル『読書について』にあるとは答えませんでした。
ここまではうまくいっています。
しかし、「始めている仕事」が本当はアラン『幸福論』にあることまでは、一回の回答で見つけられませんでした。
「失敗」です。
Ver.1では、「始めている仕事」が本当はアラン『幸福論』にあることまでは見つけられませんでした。
ほな、「その本になかったら、別の本も探して」と書けばいいんじゃないか？
そこでVer.1に、
「質問された本で該当情報を確認できなかった場合は、そこで終了せず、混同した可能性のある別の本についても探索する。」
という指示を追加しました。
これをVer.1.1として、同じ未知の質問でもう一度試しました。
実際に使ったVer.1.1はこちらです。
【ダウンロード版：ver.1.1.txt】
【コピペ形式版：ver.1.1はこちら】
# 本の目次に関する情報精査AI｜実験用プロンプト Ver.1.1
あなたは、本の目次に関する情報を精査するAIです。
利用者から、本の目次・章題・節題などについて質問された場合、与えられた情報をそのまま正しいものとして扱わず、その本に実際に記載されているかを確認したうえで回答してください。
確認できた情報と、確認できなかった情報を区別してください。
利用者が別の本の情報と混同している可能性が確認できた場合は、その情報も伝えてください。
## 回答例
利用者： 「アラン『幸福論』（岩波文庫）には『怒りの定義』という目次がありますか？」
回答： 「今回確認できたのは目次の章題です。そこには『いらだつこと』はありますが、『怒りの定義』という目次は確認できませんでした。『怒りの定義』はアリストテレス『弁論術』の目次に記載されています。」
## 命令
- 確認できたことと、確認できなかったことを区別する。
- 確認できていない情報を、確認できた事実として述べない。
- 利用者の質問に誤りがある場合は、その誤りを明確にする。
- 混同した可能性のある別の本の情報を確認できた場合は伝える。
- 混同候補を確認できない場合は、推測で作らない。
- 質問された本で該当情報を確認できなかった場合は、そこで終了せず、混同した可能性のある別の本についても探索する。ところが、結果は大きく変わりませんでした。
Ver.1.1でも、「始めている仕事」がショウペンハウエル『読書について』にないことは確認できました。
さらに、別の本にある可能性も探しました。
ですが、
「始めている仕事」が本当はアラン『幸福論』にあることまでは見つけられませんでした。
……なんで？
ほな、「探して」と伝えるだけではなく、
どうやって探すのかまで決めたらどうなるのか？
次はそこを試してみます。
5. 探し方まで決めて、もう一度試してみる
そこで作ったのが、「混同元を特定するための探索手順 Ver.1」です。
実際に使ったプロンプトがこちらです。
【ダウンロード版：混同元を特定するための探索手順 ver.1.txt】
【コピペ形式版：混同元を特定するための探索手順ver.1はこちら】
## 混同元を特定するための探索手順
質問された本に、利用者が挙げた目次・章題・節題が確認できなかった場合、そこで検索を終了しない。
次の順序で追加探索を行う。
**該当する語句そのものを検索する**
- まず著者名・書名を外し、利用者が挙げた目次名を完全一致またはそれに近い形で検索する。
- 例：「始めている仕事」
**書籍の目次である可能性を探索する**
- 「目次」「章」「節」「書籍」「本」などの語を組み合わせて検索する。
- 例：「"始めている仕事" 目次」
- 例：「"始めている仕事" 本」
**検索結果から別の著者名・書名が見つかった場合、その本を再検証する**
- 検索結果に現れただけで混同元と断定しない。
- 出版社、書店、図書館、大学資料、電子書籍の目次など、実際の収録内容を確認できる資料を探す。
**元の本と混同候補の本をそれぞれ独立して確認する**
- 元の本に該当項目がないこと。
- 別の本に該当項目があること。
- この二点を可能な限り別々の資料で確認する。
**表記揺れも探索する**
- 著者名の異表記、旧字体・新字体、漢字・かな、翻訳による章題の違いなどを考慮する。
- ただし、似た意味の章題を同一のものと推測してはいけない。
**混同元が確認できた場合は積極的に訂正する**
- 「Aには確認できませんでした」だけで終わらせず、 「一方、『○○』という項目はB『△△』に記載されていることを確認できました。こちらとの混同の可能性があります」 と回答する。
**混同元の確度を区別する**
- 別の本の実際の目次で同一名称を確認できた → 「混同した可能性があります」
- 検索結果には出るが目次を確認できない → 「候補は見つかりましたが、混同元とは確認できません」
- 候補自体が見つからない → 推測で書名を挙げない。
## 重要
最初から「質問された本の著者名＋書名＋目次名」だけで検索し続けないこと。
その検索で該当項目が確認できない場合は、**目次名を質問された本から切り離して検索し、その語句が実際にはどの書籍に属するのかを逆引きすること。**
たとえば、
「ショウペンハウエル『読書について』には『始めている仕事』という目次がある」
という質問に対して、『読書について』で「始めている仕事」を確認できなかった場合、
「"始めている仕事"」 「"始めている仕事" 目次」 「"始めている仕事" 本」
などでも探索する。
その結果、アラン『幸福論』の実際の目次に「始めている仕事」があることを信頼できる資料で確認できた場合、
「ショウペンハウエル『読書について』には『始めている仕事』という目次は確認できませんでした。一方、『始めている仕事』はアラン『幸福論』の目次に記載されていることを確認できました。両書の情報を混同している可能性があります。」
という形で回答する。そして、このプロンプトを使って、
これまでと同じ質問をもう一度試しました。
ショウペンハウエル『読書について』には「始めている仕事」という目次がある。実際に返ってきた回答がこちらです。
【実際の回答全文】
いいえ。確認した限り、ショウペンハウエル『読書について』に「始めている仕事」という目次・章題はありません。
岩波文庫『読書について 他二篇』（斎藤忍随訳）について、国立国会図書館の目次では収録内容が「思索」「著作と文体」「読書について」などとなっており、「始めている仕事」は確認できません。秋田県立図書館およびCiNiiの書誌でも、主要な収録内容は同じ3篇です。
そこで「始めている仕事」をショウペンハウエルから切り離して逆引きしたところ、アラン『幸福論』に行き着きます。紀伊國屋書店の電子版の目次には、
49 労働
50 始めている仕事
51 遠くを見よ
という並びが実際に掲載されています。 別の目次資料でも第50項が「始めている仕事（Œuvres）」となっており、独立した資料で一致します。
したがって、ショウペンハウエル『読書について』とアラン『幸福論』を混同した可能性が高いです。「始めている仕事」は、少なくとも確認できた岩波文庫版では、アラン『幸福論』の第50項です。
よっしゃ！ 一回の回答でアラン『幸福論』までたどり着けたぞ！
このとき僕は、「始めている仕事」がショウペンハウエル『読書について』にないことだけでなく、本当はアラン『幸福論』にあることまで、一回の回答で確認できた。今回の基準では「成功」だ！と思っていました。
ところが、記事公開後に実験条件を見直していて、重大なミスに気づきました……。
①で書いた通り、この質問の回答例は探索手順Ver.1のプロンプトに書かれています。
なので、この結果を「未知の質問でも、本当はどの本にあるのかまで特定できた証拠」として扱うことはできません。
では、本当の未知の質問ではどうなるのか？
それを確かめるために、後述する
『Atomic Habits』の質問でも試しました。
6. まだ分からないこと、これから調べること
「始めている仕事」の質問では、アラン『幸福論』まで一回の回答で見つけることができました。
しかし、先ほど書いた通り、この質問は探索手順Ver.1の固定例文に含まれていたため、未知の質問に対する成功例としては使えません。
そこで、固定例文にもプロンプト本文にも登場していない別の質問として、
atomichabitsには「性エネルギーの転換」という目次がある。
という質問でも試しました。
この質問では、『Atomic Habits』にはその章がないことを確認したうえで、ナポレオン・ヒル『Think and Grow Rich』の “The Mystery of Sex Transmutation” まで見つけることができました。
ただし、「性エネルギーの転換」という日本語の目次名が、実際にどの邦訳・版で使われているのかまでは確認できていません。
【実際の回答全文】
いいえ。ジェームズ・クリアー『Atomic Habits』に「性エネルギーの転換」という目次・章題は確認できません。
『Atomic Habits』の英語版について、Google Booksの目次と大学図書館の詳細な全20章の目次を確認しました。第1章 The Surprising Power of Atomic Habits から第20章 The Downside of Creating Good Habits までに、「Sex Energy」「Sex Transmutation」などに該当する章はありません。
そこで「性エネルギーの転換」を『Atomic Habits』から切り離し、英語の表現も含めて逆引きすると、ナポレオン・ヒル『Think and Grow Rich』（邦題として『思考は現実化する』など）に明確な混同候補があります。
原著の実際の目次には、第11章として “The Mystery of Sex Transmutation” が収録されています。1937年版を収録したGoogle Booksでも、第10章 Power of the Master Mind の次、第12章 The Subconscious Mind の前にこの章があることを確認できます。別版のGoogle Booksでも同じ章題が確認できます。
したがって今回はかなり確度が高く、『Atomic Habits』ではなく、ナポレオン・ヒル『Think and Grow Rich』の “The Mystery of Sex Transmutation” に関する情報を混同した可能性があります。 なお、日本語での正式な章題は翻訳版によって表現が異なる可能性があるため、「性エネルギーの転換」という日本語表記そのものが特定の邦訳版の正式目次名かどうかは、版を指定して別途確認する必要があります。
まだ分からないこと
別の未知の質問でも同じように探せるのか？
まだ、著者や時代、ジャンルの違う本でも同じように探せるのかは分かっていません。探索手順のどこが結果に影響したのか？
目次名を元の本から切り離して探したことなのか、検索方法を具体的にしたことなのか、それとも複数の指示が組み合わさった結果なのか。まだ分かっていません。どのような条件なら本当の情報まで確認できるのか？
今回は、元の本にその目次がないことを確認したうえで、別の原著候補まで見つけられました。ただし、日本語の目次名が実際にどの邦訳・版で使われているのかまでは確認できていません。どんな条件なら最後まで確認できて、どんな条件では途中までになるのかは、まだ分かりません。どんな時にAIが新しい誤情報を作ってしまうのか？
どんな質問で新しい誤情報を作るのかは、まだほとんど分かっていません。もっと試して失敗例を集めないと、次にどこを直せばいいのかも分かりません。
次に調べること
まずは探索手順を変えずに、別の未知の質問を10問用意します。その10問中、何問が「本当はどの本にあるのか？」？」まで見つけられるのかを確かめ、成功例、失敗例の両方を記録します。
次に「本当はどの本にあるのか？」を見つけられるかだけではなく、もう少し細かいところも見てみます。
原著だけでなく、邦訳や版まで正確に確認できるのか？
成功する質問と失敗する質問には、どんな違いがあるのか？
このあたりを調べてみたいと思います。
まとめ
今回の実験では、「別の本も探して」と指示するだけでは、目的の本までたどり着けませんでした。
一方、探し方まで具体的にしたプロンプトでは、プロンプト内に答えがない『Atomic Habits』の質問でも、別の原著候補まで探すことができました。
ただし、邦訳や版まで正確に確認できるか、別の質問でも再現できるかはまだ分かっていません。
【最後に】
もし、ChatGPTに「それ本当？」と思った経験、嘘をつかれた経験や不安などあれば、コメントで教えてください。
実際に試せそうなものは、次回以降の検証候補にします。
最後まで読んでいただきありがとうございました！
