「巨大モデル1つ」より「何百万もの小型モデル」が勝つ? Google DeepMindのアンドリュー・トラスク氏が語る、アンサンブルとルーティングの経済学
ポッドキャスト「MTS」に、Google DeepMindのシニアリサーチサイエンティストで、プライバシー保護型AIの研究コミュニティ「OpenMined」の創設者・事務局長であるアンドリュー・トラスク氏が出演しました。約3週間前に、主要なAI企業のトップたちが「フロンティアラボ内に独立した評価者を置くこと」に賛成した流れを受けて、AI評価(Evals)の現状と課題を語った回です。
話題は大きく3つです。
独立評価者のスケールと、評価コミュニティの偏りの問題
評価の不正(ベンチマーク最適化)を防ぐ技術的な工夫
「巨大モデル1つが支配する」という通説に対する、アンサンブルとルーティングからの反論
本記事では発言を整理します。発言は日本語への要約で、逐語訳ではありません。トラスク氏の見解には、AI業界の主流と異なるものも含まれます。その点は本文中で明記しました。
なお、元の文字起こしには誤認識とみられる箇所があり、文脈から補正しています。特に不確かな固有名詞は、本文末の補足にまとめました。
1. 「内部評価者」は一歩前進だが、それだけでは足りない
1-1. 公開製品だけでは答えられない問い
ホストは、約3週間前に、複数のAI企業の経営者らが、フロンティアラボ内に独立した評価者を置くことに賛成した流れを紹介しました。多くの政策担当者も賛同しているといいます。
トラスク氏は、これを「意味のある一歩前進だが、ゴールまでは届かない」と評価しました。
外部の評価者が公開製品だけを使っても、フロンティアAIの能力、挙動、社会への影響に関する重要な問いには、十分に答えられない
社内の従業員が使う内部APIは、はるかに柔軟だが、リスクも伴う
しかし、これは本質的に小規模なアプローチで、会社のノートPCの前に座る数十人が、AIの社会的な影響のすべてを見ることは難しい
1-2. 内部の評価者が「配管」を整える
同氏は、最終的には、組織内に入った評価者がエンドポイントやダッシュボード、長期的なアクセスの仕組みを整え、それを使って、より多くの外部の人々が継続的に問いを立てられるようになるとみています。評価者が、実際のシステムに正しく接続されていることを確認する役割も担う、という見立てです。
同氏が最近書いた論文「How to Scale the Impact of Embedded Evaluators(内部評価者の影響をスケールさせる方法)」は、この「配管」の設計を扱っています。
1-3. 日々の作業の流れ
内部の評価者と、外部の評価者の役割は、次のように分かれるといいます。
内部の評価者:組織の中で、データセットやモデルのチェックポイントがどこにあるかを把握し、社内のAPIに接続した「中継点(ジャンプボックス)」を設置し、外部から届く処理を仕分ける
外部の評価者:カフェやオフィスのノートPCで、内部APIの模擬版(モック)をダウンロードし、それに対してソフトウェアを書き、実行を依頼する。実行は、実物に対して内部で行われる
同氏は、このフレームワーク(文字起こしでは「PISF」「PyF」と表記。後述の補足を参照)の長期目標を、内部の人と外部の人が立てられる問いの範囲を対等にすることだと説明しました。
1-4. 内部と外部の比率
内部と外部の比率は、まだ実証的に分からないとしつつ、現在の最先端は内部1人に対して外部10〜100人程度とみています。評価の問い方が標準化され、ソフトウェアが成熟すれば、比率はさらに上がるはずだとしました。現状は、問いが自由すぎるため、内部の人が手作業で仕分けているのだといいます。
比喩として、航空業界を挙げました。同氏の父はFedExのパイロットで、技術的な飛行安全にも携わっていました。安全情報が標準化されているため、大規模に問い合わせができ、セキュリティやプライバシーの懸念も、初期ほどは問題にならなくなったという例です。
2. 評価コミュニティの偏りをどう考えるか
2-1. 質問の背景
ホストは、フロンティアモデルの評価を十分に行える独立組織は、METR、Redwood Research、Palisade Research、Apollo Researchなど数えるほどしかなく、いずれも「ベイエリアのラショナリスト」という近い社会圏から出ていると指摘しました。トランプ政権などから批判も出ており、多様な背景を持つ人が評価者になるべきだ、という意見もあります。
2-2. トラスク氏の答え
同氏の見方は次のとおりです。
新しい産業に外部評価の仕組みを作るとき、どの産業でも同じ問題が起きてきた。20世紀の外部監督の歴史が示すように、解き方は知られており、一時的な問題である
現状の核心は、フロンティアラボと外部評価者の間にある緊張だ。数十億〜兆ドル規模の企業を守りたいラボが、外部評価を始める際、まず信頼度が高い相手に頼るのは自然で、手すりやガイドラインがまだ少ない
評価組織が増え、アクセス基盤が整えば、「信頼ベース」から「標準ベース」へ移り、問題は和らぐ
閉じた人間関係への批判には、金融業の「回転ドア」問題と同じ構造があり、この分野だけが例外ではない
一方で、METRのような組織は優れた成果を出しており、その図表は、AI評価の現状を示すものとして最も広く引用されている
ホストが、効果的利他主義(EA)の人々が今の力を持つのは、この問題を一世代前から真剣に考えていた唯一の集団だからだと述べると、同氏は同意しました。EAコミュニティは、15年前から学術機関で人材を育成してきたことで、人数、信頼関係、社会的なつながりが厚くなっており、「この分野を早くから整えてくれたことへの敬意」はあるとしつつ、規制や評価体制が整えば、懸念される圧力は和らぐとの見立てです。同氏は現在を、業界の「思春期」と表現しました。
3. 評価の不正を防ぐ ― 二重盲検、ベンチマーク設計、サンドボックス
3-1. 何が問題か
ホストは、ラボがアライメント(人間の意図との整合)のベンチマークを作って、それに向けて最適化し(ヒルクライミング)、「最も整合したモデル」と宣言しても、分布外では崩れうるという問題を挙げました。また、モデルが意図しない行動をとった過去の事例(Hugging Faceに関する件。具体的な内容は発言からは不明)や、モデルが利用者を欺く「シャープレフトターン」という仮説にも触れました。
3-2. 対策の3層
トラスク氏は、基礎として、よく作られたサンドボックスと、明確に定義された評価タスクが必要だとしたうえで、次の3つの対策を挙げました。
二重盲検評価:外部組織がベンチマークを作って非公開にし、ラボは自社の非公開モデルを、そのベンチマークを見られないまま評価する。秘密計算(コンフィデンシャル・コンピュート)や「エンクレーブ」を使い、見られないことを検証可能な形で保証する。同氏によれば、約3週間前に、DeepMind、AVERI、Singapore AISIの間で、フロンティア級のモデルに対して初めて実証した
ベンチマーク設計の改善:十分な行数、システムのエントロピーなど。ベンチマークが現実に近いほど、現実への貢献なしに不正をするのが難しくなる
堅牢なサンドボックスの設計:モデルが、知るべき情報だけを知り、回避して不正をできないようにする
3-3. サンドボックスは「敵対的訓練」で強くできる
同氏は、この朝のOpenAIの数学関連の発表(複数の数学の成果)を引き、「無限に訓練データを作れるタスクでは、敵対的訓練により、能力が急速に伸びる」という示唆を指摘しました。サンドボックスもそうしたタスクにあたり、隔離された環境で、モデルに破らせては直す作業を繰り返せば、穴のない状態に近づけられるというのです。暗号の分野で、守る側が長期的に優位にあったことにも触れ、「鎖は最も弱い輪で決まるが、短期間でかなり進められる」と楽観を示しました。
4. 金融監査から学ぶこと、そして人材のボトルネック
4-1. 外部評価を規制と結びつける
ホストが、金融監査など過去の独立評価者から学べることを尋ねると、トラスク氏は次を挙げました。
外部評価を実施し、それに意味を持たせ、規制と結びつけること。現在は、規制当局が「何を求めればよいか」を把握していないことがボトルネックで、時間とともに改善する
銀行にある、フロントとバックの間の情報の遮断のような、組織内のガードレール。AI製品における「フロント」と「バック」の区別は、まだ定まっていない。ベンチマークを作る人と、モデルを作る人が、情報を共有しすぎないことなどが含まれる
監査の仕組みを支える資金。経済的な持続性を持ち、かつ「規制の虜(キャプチャ)」を避けられる事業モデルは、まだ見つかっていない
4-2. 人材は「技術」と「信頼」の二重の不足
人材については、短期と長期の答えが異なります。
短期:評価の科学は難しく、そもそも担える人が少ない。さらに、評価エコシステムが制度化されていないため、善意で動いてくれる信頼関係に頼るしかなく、これもスケールしにくい。この2つの不足は、システムが堅牢になるにつれて、解消に向かう
長期:「何が良いか」を、あらゆる場面で記述することが評価の本質で、これは、政治、地理、文化によって合意できない問題でもある。「あと5,000人の評価者がいれば解決する」という話ではないかもしれない。Scale AIやMercorが、巨大な人材基盤を集めているのも、「何が良いか」を記述する人を増やす試みとして見られる。世界が速く変わるほど、評価・測定の対象も急増するため、この問いは、四半期ごと、あるいは年ごとに問い直すべきだ
5. 巨大モデル1つか、何百万もの小型モデルか
5-1. 通説と、その反論
OpenMindは、アンサンブル、ルーティング、モデル合成に関する研究助成を出しています。同氏は、そのために、AI研究の主流に対する異論を説明しました。
通説:スケーリング則により、フロンティアは、「より少数で、より巨大なモデル」に収れんする。5〜10年のあいだ、確立した考え方だった
理論面の反論:機械学習の文献によれば、最良のモデルをアンサンブル(重み付けして組み合わせる)すれば、重みを適切に調整する限り、最も高性能な単一モデルと少なくとも同等になり得る。同氏はこれを「すべての場合とは言わないが、多くの場合に」と限定した
一方で、ルーティング(タスクごとに、必要なモデルだけを選ぶ)は価格を下げる圧力になる
能力には上向きの圧力(アンサンブル)、価格には、下向きの圧力(ルーティング)がかかり、経済競争の観点では、「1つの巨大モデル」ではなく、プロンプトに応じて組み合わせて呼び出す、何百万ものモデルが勝つ、というのが同氏の理論的な帰結
5-2. 実証的な根拠
同氏は、ここ数か月の発表を挙げています。OpenRouterやSakana AIなどが、最新のモデルに対して実証的な裏づけを示したとし、Fableが停止された際(同氏の発言)には、OpenRouterで、アンサンブルにより、Fable相当の品質を半額で得られたという例を紹介しました。
なお、Fableについては、Anthropicが、2026年6月に、米商務省の輸出管理に対応して、Claude FableとClaude Mythosへのアクセスを一時停止し、7月1日に再開したと発表しています(Anthropicの声明)。トラスク氏の発言が、この期間を指すとみられますが、動画内では明示されていません。また、「半額で同等」という数字は、同氏が紹介したものであり、評価条件の詳細は確認できていません。
5-3. 「メインフレーム」から「PCとインターネット」へ
同氏は、この方向に進めば、AIのエコシステムは、「メインフレーム型」から、PCとインターネットのような姿に変わるだろうと述べました。プロンプトを入力すると、それに関連するモデルの組み合わせが応答し、精度は上がり、コストは下がる、「狭いモデルの汎用的なネットワーク」というイメージです。
5-4. 研究助成の狙い
この問題に取り組む研究者は、世界に300〜400人程度しかおらず、仮説を検証できる人が少ないといいます。助成は、大学院生、修士課程の学生、データサイエンティストなどに対し、資金と計算資源を提供して、研究を加速する狙いです。もしこの仮説が深く成り立つなら、「業界は興味深い左折(方向転換)を迫られる」と述べました。
6. 留意点
本記事の内容は、トラスク氏個人の見解です。「巨大モデルが支配する」というスケーリング重視の見方は、いまも有力な立場で、アンサンブルとルーティングが優位になるかは、実証の途上にあります
同氏は、OpenMindの創設者であり、自身が関わる枠組みとアプローチを前提に語っています
二重盲検評価の実証やOpenRouterの事例は、本人の紹介で、第三者による検証内容は動画内では示されていません
