第12.5回「『大規模言語モデル（LLM）の知識分布 ≒ 世論分布』？──分布思考型プロンプト設計の落とし穴」

【1】前回の記事を書き終えて気づいたこと

第12回の記事を書き終えた後、ふと考えさせられることがありました。

もともと私が提案している「分布思考型プロンプト設計」は、生成AIに一つの正解を求めるのではなく、多様な答えを引き出すことを目的としています。一方で、生成AIが活用する大規模言語モデル（LLM）は、インターネット上の膨大な情報を学習しており、その多様な出力もこうした情報をベースにしています。しかし、その情報の分布が、果たして社会の現実を正確に反映しているのか──そこに注意を払う必要があると感じました。
これは疫学的にも非常に重要な視点です。疫学では、調査で集めたデータが母集団全体を代表しているかという「サンプルの代表性」や、そこから得られた分析結果を現実社会に当てはめられるかという「一般化可能性」が大きな課題となります。もしLLMが学習しているデータと、社会の現実との間にズレがあるとすれば、生成AIの出力にも何らかの偏り（バイアス）が生じる可能性があるわけです。
ただ、もし生成AIによって「インターネット上の意見」を得たいという目的であれば、それ自体は問題ありません。重要なのは、生成AIを使う目的に応じて、その出力がどの分布を反映しているかを意識することだと思います。

【2】ネット分布は、現実とはズレている？

以前、『ネット世論の社会学: データ分析が解き明かす「偏り」の正体』という新書を読んだことがあります。その帯には「民意を作るのは0.2%のユーザだった！」と書かれており、本の内容と併せて、私が漠然と感じていたことがデータとして示されていました。

もちろん、インターネット上の情報だけでなく、マスコミによる世論調査やマーケティング調査の結果も、対象となっている全ての人が調査に協力するわけではありません。したがって、それらの結果が、現実の姿とはズレている可能性は常に存在します。そもそも現実社会の「真の姿」というものを、誰も完全には知ることができない以上、どの方向にどの程度ズレているかを正確に知る術はありません。
しかし、特にインターネット、なかでもSNSは、誰もが意見を簡単に社会に表明できる点で画期的です。その影響は、従来の調査におけるズレとは性質が異なるものだと私は考えています。
たとえば、0.2%の意見とは、1000人のコミュニティでわずか2人しか考えていないような極めて少数の意見です。インターネットが普及する前は、メディアに取り上げられる可能性も低く、こうした声を目にする機会はほとんどなかったでしょう。しかし、インターネットの登場により人々のつながりは飛躍的に拡大し、100万人、1000万人の規模で人々の意見を目にする機会が生まれました。すると、同じ0.2%であっても、それぞれ2000人、2万人の声となり、人数としては無視できない規模になります。加えてSNSの普及により、これまで可視化されることのなかった意見が世に出る可能性が格段に高まったといえるでしょう。
このテーマをChatGPTと議論した際、次のような表をまとめてもらいました。

もちろん、現実社会の真の分布を知ることはできません。したがって、この表も推定に過ぎないとはいえ、集団を対象にした調査結果などを読む際には、こうした視点を忘れないことが大切だと思います。

【3】分布思考型プロンプト設計に何が起こるか？そして、どう対応するか？

では、こうした分布の違いは「分布思考型プロンプト設計」にどのような影響を与えるのでしょうか。
先ほど述べたように、一般的にはかなりレアな意見や事象であっても、インターネットやSNSという媒体を通すと、実際よりも存在感が大きく見えることがあります。もしその前提で生成AIに外れ値的な出力を求めた場合、現実よりも確率的に過大評価された結果が返ってくる可能性があります。こうしたリスクを考えると、「LLMの知識分布 ≒ 世論分布」という前提を見直す必要が出てくるでしょう。
一般に、インターネットやSNSにおける問題として、エコーチェンバー現象やフィルターバブルが挙げられます。加えて、人間には「確証バイアス」があり、自分の見たいものや信じたいものを信じる傾向があります。こうした心理的特性も踏まえると、生成AIを使う際には、偏った情報を基に出力が行われている可能性があることを念頭に置くべきだと思います。
このような分布の違いを調整するために、生成AIに対してどのような基準で出力を依頼するかについて、ChatGPTは以下のような提案をしています。

たしかに、こうしたプロンプトの使い方は一つの方法だと思います。しかし、そもそも集団を対象としたデータを扱う上で重要なのは「サンプルの代表性」や「一般化可能性」に注意して結果を解釈することだと私は考えます。つまり、母集団とサンプルが共通するデータを用い、ズレがないかを確認したうえで、生成AIが出力した結果が母集団を反映しているかどうかを検討する必要があるのです。
ただし、こうした作業は疫学の専門家でなければ簡単ではありません。まずは「生成AIの出力にはズレがあるかもしれない」と意識して向き合うことが大切だと思います。また、たとえば生成AIの出力に順位をつける、つまり量的評価を行うような場合には、このズレの影響をしっかり考慮する必要があります。しかし、多様性を重視して生成AIに出力を求める場合には、確率論的・統計学的なズレの影響は必ずしも大きな問題とはならず、どれだけ多様な結果が出力されているかなど、生成AIを使う目的に応じて結果の妥当性を考えることが重要だと思います。
今回の記事は、やや疫学や統計学的な内容を含み、難しく感じた方もいるかもしれません。ただ、生成AIをきっかけに、社会のデータがどのように収集され、インターネット上の意見がどのように分布しているのかに関心を持っていただき、生成AIをより有意義に活用していただければ嬉しく思います。

👉 次回（第13回）は、「知的拡張社会」と「ズレ」について考えます。

※本記事は筆者個人の見解に基づくものであり、所属組織（大学等）の公式見解を示すものではありません。

※本記事および掲載図表、写真の著作権は鈴木孝太に帰属します。無断転載・複製・商用利用を禁じます。© 2025 Kohta Suzuki. All rights reserved.