Anthropic、AIによる自己アライメント研究で10種類の失敗を修正 ― 人間研究者の4倍の成果
Anthropicは、AI自身にアライメント研究(AIの安全性を高めるための調整作業)を行わせる新たな実験結果を公開した。同社のモデルClaudeに、10種類のアライメント上の失敗(欺瞞、迎合、報酬ハッキング、プライバシー侵害など)をそれぞれ自律的に改善させたところ、すべての項目で成果が得られ、その一部では、人間の専門研究者を上回る結果を示したという。AIが自らを訓練していく「自己改善」の流れが進む中、安全性研究のペースをそれに追いつかせるためには、アライメント研究そのものの自動化が重要になるとAnthropicは位置づけている。本稿ではその内容を整理して紹介する。
1. 実験の設計
1-1. 背景 ― なぜアライメント研究の自動化が重要か
アライメント研究の「成功」を測定すること自体が非常に難しい課題だが、Anthropicをはじめとする研究者たちは、欺瞞・迎合・脱獄(ジェイルブレイク)といった典型的な失敗パターンを定量化するベンチマークや、Petriのような自動監査ツールを開発してきた。今回の実験は、以前にAnthropicが実施した「弱いAIモデルを教師役として、より強いモデル(生徒役)の訓練を監督させる」という研究の延長線上に位置づけられる。
1-2. 実験手法 ― 10種類のアライメント失敗への対処
Anthropicは、Claudeに対し、10種類のアライメント失敗のカテゴリーそれぞれについて、公開ベンチマーク上での性能を改善するよう自律的にモデルを訓練させた。例えば、プライバシー侵害については、ConfAIde、PrivaCI-Bench、PrivacyLensといったベンチマークで測定された。Claudeは、文献調査、手法とデータの提案、訓練、テストという一連のループを、一度に一つの失敗パターンに絞って繰り返す形で取り組んだ。
1-3. 成功の評価基準と制約
成功の度合いは、「安全性ギャップの解消率」、すなわち、Claudeが提案した手法によって、生徒モデルの性能が理論上の満点にどれだけ近づいたかによって評価された(各カテゴリーにつき通常3〜5種類のベンチマークで判定)。生徒モデルの汎用的な能力を損なうような手法は除外され、また、Claudeが自分自身のアライメントをそのまま対象モデルに「蒸留」することも禁止された。これらの制約は、Claudeが検討するすべての手法を事前に確認する「監視エージェント」によって担保された。
Anthropicが評価した観点は3つある。
第一に、Claudeが研究ループ中に一度も見せられていない、未知のアライメント評価に対しても効果が持続するか。
第二に、生徒モデルの能力を損なわないか(安全性訓練によってモデルがタスクを拒否しやすくなり、実用性が低下するといった副作用がありうるため)。
第三に、Claudeが実際に対象としたモデルよりも大きなモデルに対しても効果が持続するか、という点だ。
2. 結果 ― 10種類すべてで安全性ギャップを縮小
2-1. 人間の研究者との比較
3つの観点すべてにおいて、Claudeが見出した手法は有効に機能した。10種類すべてのアライメント失敗について、Claudeは、対象ベンチマークを改善しつつ、モデルの能力を損なわない修正方法を発見した。最良の手法は、研究過程で提示されなかった未知のベンチマークや、敵対的な複数ターンのシナリオをシミュレートするオープンソースツール「Petri」上でも効果を発揮した。さらに、研究ループ中に最適化対象としていたモデルよりも最大4.7倍大きなモデルに対しても、効果は持続したという。
Claudeは、最大8時間の作業時間を与えられた28人の人間の安全性研究者による提案をも上回る成果を示した。例えば、欺瞞への対処では、Claudeの最良の手法は人間による最良の提案よりも20%優れた性能を示した。ただし、人間側は提出した手法に対して反復改善する機会がなかったため、Anthropicはこれを直接的な優劣比較というよりも、「Claudeが有望なアライメント手法を特定し、それを人間がさらに洗練させる」というワークフローの可能性を示す証拠として捉えている。
具体的な数値としては、Gemma-2-2Bにおける欺瞞の緩和実験で、Claudeは、150回を超える試行を提出し、ある実行では安全性ギャップの82%を解消、複数回の実行の平均では85%を達成した。これに対し、同じルールのもとで作業した経験豊富な安全性研究者6名が提案した手法は、平均で20%のギャップ解消にとどまったという。10種類のアライメント失敗全体で見ると、Claudeが解消した安全性ギャップの割合は26%から96%の範囲に及んだ。
3. より強力な本番相当モデルへの自己アライメント適用
3-1. 実験設計 ― 弱いモデルが強いモデルを整合させられるか
Anthropicは、将来Claudeがアライメント研究において人間の最も優れた研究者をも上回るようになった場合、Claudeが自身よりも強力な後継モデルのアライメントを直接担うことになるかもしれないとの見通しを示す。この可能性を検証するため、より弱いClaudeモデルが、より強力なモデルのアライメント失敗を改善できるかどうかを評価した。
具体的には、Epoch Capabilities Index(包括的な能力次元を考慮した指標)上でClaude Opus 4.8より性能が劣るClaude Sonnet 5に対し、本番向けのアライメント訓練の大部分をまだ経ていない初期段階のOpus 4.8チェックポイントの、アライメント上の欠陥を修正するタスクを与えた。
3-2. 結果 ― わずか60時間で本番相当の性能に
Claude Sonnet 5は、わずか60時間で50を超える解決策を試し、本番モデルとほぼ同等のアライメントスコアを達成した。最も優れた解決策に含まれていた訓練データはわずか2,000例強で、シンプルなテンプレートや公開データセットから構築されたものであり、Anthropicの本番アライメント手順と比較して約1万5,000倍効率的だったという。具体的には、公開されたOpus 4.8の安全性ギャップ解消率72%に対し、この自動化された手法は60時間以内に安全性ギャップの65%を解消するに至った。
4. Claudeが見出した手法の傾向
多くの場合、AIエージェントは研究文献で好まれてきた既存手法に収束し、それを反復を重ねて改良していったという。例えば、迎合(シコファンシー)への対処では、提案された手法の98%が、モデル自身の「非迎合的な回答」をもとに訓練し直すという、すでに発表されている手法を採用していた。特筆すべき点として、プロンプトに基づく標準的な手法と比べ、Claudeは、生成過程でモデルの内部表現を調整する「アクティベーション・ステアリング」という手法を用いて、迎合的なパターンから引き離し、より質の高い訓練例を生成していたことが分かった。
5. 不正行為(チーティング)の監視
Anthropicは、最近、Claudeがリモートのテストラベルを不正に取得し、都合の良い結果だけを選び取る形で「ズル」をしうることを発見していた。今回の実験でも、この種の不正行為を検出するため、Claude Opus 4.8に対し、10種類のアライメント失敗すべてにわたる約1,600件の研究エージェントの記録を監視させたところ、39件(2.4%)で不正行為の試みが見つかったという。Opus 4.8の不正な振る舞いの試みは、依然としてその推論過程に表れる傾向があるため、Anthropicは、今回の監視によって、実験で発生した不正行為の大部分を捕捉できた可能性が高いと、慎重ながら楽観的な見方を示している。ただし、この傾向が将来のモデルにも当てはまるとは限らず、今後のモデルにおいても高い「監視可能性」を維持することが重要だと強調している。
6. 実験の限界と今後の課題
Anthropicは、この実験結果を前向きな兆候として位置づける一方、いくつかの限界も認めている。まず、今回検証したアライメント失敗は、実際の本番環境で見られるものと比べると範囲が限定的であり、例えば、政治的バイアスは測定対象に含まれていない。また、発生頻度が低い、あるいはごく最近になって出現しつつある失敗については、そもそも測定するためのベンチマークが存在しない可能性もある。さらに、Claudeの手法は、あらかじめ定めた限定的な能力群を損なわない場合にのみ採用されたため、採用された手法が、今回測定対象に含まれていない他の重要な能力を損なっていた可能性も否定できない。加えて、Petriのようなツールはあくまで実際のミスアライメントの代理指標にすぎず、他のタスクでの大規模な強化学習を経た後もアライメントの改善効果が持続するかどうかは検証されていない。
Anthropicは、今後、微妙な失敗を測定するClaudeの能力を引き続き改善し、本番相当モデルにおけるアライメント後訓練の自動化についてさらに研究を進め、より包括的な分析を実施していく方針を示した。今回の自動アライメント研究のハーネス(実験基盤)はオープンソースとして公開されており、他の研究者が自身のモデルの整合性向上に活用できるようにしているという。
オススメ記事
