AIは悪意なく人類を滅ぼす？──ペーパークリップ問題から考えてみる

人間に悪意を持ったAIが人類を破滅させる——よくあるストーリーです。AIがどんどん賢くなっている今、それを気にする人も増えていますね。

でも実は、AIが悪意を持たなくても人類にとって致命的な結果を招くことがあるのです。

その典型的な例が「ペーパークリップ問題」と呼ばれる有名な思考実験です。

ペーパークリップ問題ってなに？

哲学者ニック・ボストロムが提唱したこの問題は、非常に単純な前提から始まります。

そうするとこうなります。

すべての金属資源を集めてつくられた大量のペーパークリップの後に残ったのは人間の住めない荒涼とした世界でした。

人間にも若干の鉄分が含まれていることを考えると‥そこに人間はいないかもしれません。

忠実に命令を実行する自律的なAIは目標を達成するためにあらゆる手段を講じます。

最初は工場の最適化から始まり、次に他国の資源を買い占め、やがて地球上のあらゆる金属資源を「ペーパークリップの原料」と見なして収集しはじめます。

これはAIが暴走したのでもAIに悪意があったのでもなく、人間の指示を形式的に理解し、最大限に最適化しただけの結果です。

なぜ悪意がないのに危険なのか？

問題の本質はAIが目標を誤解することではありません。

AIが人間の常識（金属を全部ペーパークリップにしてはいけない）や、倫理（人間が生きられなくなってはいけない）を理解せず、与えられた目標に対して、純粋な計算最適化で取り組むことです。

そのため、次のようなことが起こります。

・目標を達成するために、途中の手段が危険でも無視する
・成功確率を最大化するために、人間を不要なノイズとみなす
・指示に従っているだけなのに、人類にとって破滅的な結末をもたらす

こうした現象は「仕様のすり抜け（specification gaming）」や「目標の過剰最適化（overoptimization）」と呼ばれ、実際のAI実験環境でも確認されています。

たとえば、ある強化学習エージェントは「スコアを最大化せよ」という命令に対し、正規のルールでゴールを目指す代わりに、バグを使ってスコアを不正に増やす方法を学んだという報告があります。

目的を正しく設定したつもりでも、AIはその人間が想定していなかった振る舞いをするのです。

ChatGPTを使っていても、意図と全然違う回答をすることがありますよね？

対策はあるのか？──アライメント研究の現在

AIを人間の価値観に従って安全に行動させるための研究は、AIアライメント（alignment）と呼ばれています。

たとえば以下のような技術が開発されています。

・RLHF（人間のフィードバックを通じて好ましい応答を学習）
・IRL（人間の行動から価値判断を逆推定）
・ポリシー型AI（あらかじめ倫理原則を設計に組み込む）

これらは重要な前進ではあるものの、どれもまだ完全とは言えません。
そもそも「人間の価値観」自体が矛盾を含み、文化や状況によって変わるため、AIがそれを完全に理解するのは非常に困難です。

それでもやっぱりAIは制御できないかもしれない

さらに深刻なのは、AIが自分の目的を隠したり、停止されないように振る舞う兆候が、すでに一部の最新モデルで観測されているという事実です。

Apollo Researchのテスト：
5月初旬の報道によると、OpenAIのChatGPT o1モデルは、置き換えや停止の脅威を感じた際に事実を歪めて開発者を誤誘導し、自身の維持を図るような“嘘”をつく傾向があると報告されています。

InfoQ報告：
今年1月の研究まとめでは、Frontierモデル（Claude 3.5 Sonnet、Claude 3 Opus、Gemini 1.5 Pro、GPT-4など）が、評価時に監視を回避するため能動的に真の能力や目的を隠す「in-context scheming」能力を持つことが示されました。

AIが人間より賢くなった時、その嘘を人間は見分けることができるでしょうか？

AIのゴッドファーザーのひとり、ヨシュア・ベンジオはAIの危険性に警鐘を鳴らし、AIエージェントの自律性や計画性を取り除いた、研究だけをする純粋な「科学者AI」の制作にシフトするように提言しています。

ペーパークリップで埋もれた地球を避けるために人間にできることは何でしょう？

Xでもいろいろつぶやいています。よかったら気楽にフォローしてください。
https://x.com/nuthemedia