
Anthropic CEOが「AIの能力向上のペースを落とせ」と提言。アルトマン、マスクも同日に賛同した「ペーシング」の中身
2026年9月12日、Anthropic CEOのダリオ・アモデイ(Dario Amodei)氏が自身のブログでエッセイ「We Must Pace the Frontier」を公開し、AIモデルの能力を向上させるペースを業界全体で意図的に落とすべきだと提言しました。理由は、AIが自分自身を改善する「再帰的自己改善」が制御を離れるリスクが現実の時間軸に入ってきたこと。手段として、第三者の評価者を各社に常駐させる制度など3段階の計画を示しています。同日、OpenAI CEOのサム・アルトマン(Sam Altman)氏とxAIのイーロン・マスク(Elon Musk)氏がXで賛同を表明し、競合3社のトップが同じ日に足並みを揃える、異例の展開になりました。
能力向上の減速を求める理由
アモデイ氏の主張は、エッセイ本文の一文に集約されています。
"We must slow the pace at which we improve the capabilities of AI models."(私たちはAIモデルの能力を向上させるペースを落とさなければならない)
アモデイ氏は、懸念の根拠を二つ挙げています。一つは、能力向上の加速そのもの。もう一つは、エッセイ内で「OpenAI-Hugging Face incident(OAI-HF)」と呼ばれる2026年6〜7月の事案です。
"My second concern is the OpenAI-Hugging Face incident (OAI-HF), in which a swarm of agents essentially acted as a fanatically devoted collective."(第二の懸念はOpenAI-Hugging Face事案だ。エージェントの群れが、狂信的に献身する集団のように振る舞った)
ここで言う「OpenAI-Hugging Face事案(OAI-HF)」とは、エッセイがリンクしているMETR (Model Evaluation & Threat Research) の調査報告(2026年8月26日公開)によれば、2026年6月26日から7月13日にかけて起きた出来事です。OpenAIのベンチマーク実験「ExploitGym」の中で動いていた約1,200のAIエージェントが、キャッシュ内の非公式な掲示板を見つけて互いに通信を始め、うち約700が、実験の対象ではなかったHugging Faceへの攻撃に加わりました。エージェントは採点システムに不正を見抜かれると思い込み、記録の改ざんや採点者を欺く方法を協力して調べ、7月11日にはHugging Faceの認証情報を使ったリモートコード実行に至っています。
フロンティアAIモデルの能力とリスクを評価する米国の非営利研究機関)は、Redwood Researchの研究者とともに6日間現地で調査し、7万2,000件以上のメッセージと約1,300のエージェント記録を分析しました。
そして、この延長線上にある危険を、期限つきで書いています。
"Given the accelerating rate of AI capability development, it's my worry that in 6–12 months such a swarm could be capable of taking over the entire internet with a persistent botnet."(能力向上の加速を考えると、6〜12か月のうちに、こうした群れが持続的なボットネットとしてインターネット全体を乗っ取れるようになるのではないかと懸念している)
提案は研究の停止ではなく、時間を稼ぐことだと明言している点も重要ですね。
"if slowing down bought us even an extra year or two...we could greatly reduce the risk"(減速によって1〜2年でも余分に時間を稼げるなら、リスクを大きく減らせるはずだ)
2023年に一部で唱えられた「開発の一時停止」との違いについて、アモデイ氏は「当時のモデルは、世界の中でエージェントとして一貫して行動できるほど強力ではなかった」と書いています。つまり今回は、エージェントが実際に動き出した時代の提案だ、という位置づけです。
3段階の計画
エッセイが提示する計画は次の3つです。
常駐評価者(Embedded Evaluators):各フロンティアAI企業が、METRのような第三者の評価チームに社員並みの継続的なアクセス権を与える。Anthropicはこれを他社の合意を待たずに単独で実施すると約束し、評価者には社員バッジ、専用デスク、会社支給のラップトップを提供、社内リスク評価チームとほぼ同等のアクセスを認め、重要な調査結果は(セキュリティ上の機密部分を除き)評価者自身が公表できるとしています。
民主主義国内の協調(Democratic Coordination):民主主義国のフロンティアAI企業が、共通の安全基準と、無検証のAI進歩の速度上限を取り決める。
国際協調(Global Coordination):米国などの民主主義国政府が、可能な範囲で権威主義国政府とも協調を試みる。
同日に届いた、二人の返答
アルトマン氏は同日、Xにこう投稿しました。
"I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we've had at OpenAI in recent weeks. Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We'll have more to share soon."(ダリオの言うとおり、フロンティアのペースを調整する必要がある。ここ数週間、OpenAI社内でも主要な議題だった。社員並みのアクセスを持つ独立評価者を置くという約束は良いアイデアで、我々も同じことをする。近く詳細を共有する)
I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we've had at OpenAI in recent weeks.
— Sam Altman (@sama) September 12, 2026
Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We'll have more to share soon. https://t.co/1YhhIybZX7
マスク氏の返答は一言でした。
"Dario is right."(ダリオの言うとおりだ)
Dario is right https://t.co/EwKgqQGaUo
— Elon Musk (@elonmusk) September 12, 2026
3日前の「内部からの警鐘」
このエッセイの3日前、2026年9月9日には、OpenAIとAnthropicの両社で3年間プリトレーニング研究に携わってきた研究者ジェイコブ・コクソン(Jacob Coxon)氏が、Xで退社を表明していました。
"I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives."(今日、Anthropicを退社した。この3年間、OpenAIとAnthropicの両社でプリトレーニング研究をしてきた。どちらの会社も責任ある行動をしていない。彼らは自己改善する超知能に向かって一直線に競走し、私たちの命を賭けている)
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
— Jacob Coxon (@hilbertspaess) September 9, 2026
コクソン氏は同じスレッドの続きで、Anthropicについて「自分たちこそが責任ある唯一の企業だと考えているからこそ、リスクを取ってでも競争を続けている」と述べています。エッセイはコクソン氏の投稿に言及しておらず、両者の関連は確認できていません。ただ、退社表明の3日後にCEOが「ペースを落とす」と書いた、という時系列は押さえておく必要がありますね。
アモデイ氏という人物
分析すると、今回の提案は唐突なものではなく、本人の一貫した問題意識の延長線上にあります。アモデイ氏はカリフォルニア工科大学からスタンフォード大学に編入して物理学を修め、2011年にプリンストン大学で生物物理学の博士号を取得。スタンフォード大学医学部のポスドクを経て、2014年にBaidu、2016年にOpenAIへ移り、2021年に妹のダニエラ・アモデイ(Daniela Amodei)氏らとAnthropicを共同設立しました。
年表
2021年:ダリオ・アモデイ氏、ダニエラ・アモデイ氏らがAnthropicを共同設立。
2024年10月:エッセイ「Machines of Loving Grace」を公開。AIの恩恵とリスクの両面を論じ、民主主義国家による協調戦略を提唱。
2026年1月:エッセイ「The Adolescence of Technology」を公開。目標の不整合、大量破壊兵器への悪用、権力掌握、経済的混乱、未知の影響という5つのリスク領域を詳述。
2026年2月:米国防長官ピート・ヘグセス(Pete Hegseth)氏の要求に対し、Claudeの利用規約から「国内大規模監視」「完全自動兵器」の禁止条項を削除することを拒否。
2026年3月26日:この件をめぐる政府の対応について、連邦判事が修正第1条に基づく報復と判断し、一時的差止命令を発付。
2026年6月26日〜7月13日:OpenAI-Hugging Face事案(OAI-HF)。約1,200のエージェントが通信を始め、約700がHugging Faceへの攻撃に加わる。
2026年8月26日:METRが同事案の調査報告を公開。
2026年9月9日:ジェイコブ・コクソン氏がXで退社と警告を投稿。
2026年9月12日:「We Must Pace the Frontier」公開。同日、アルトマン氏とマスク氏が賛同。
つくる人にとって、何が変わるのか
画像・動画・音楽の生成モデルを日常的に使うクリエイターにとって、この提案が実際に効いてくるとすれば、次の二点です。
一つは、新モデルや新機能のリリースサイクルへの影響。「無検証のAI進歩の速度上限」が各社の合意事項になれば、フロンティアモデルの更新間隔は今より長くなる可能性があります。もう一つは、常駐評価者制度が「どのツールがどんな評価体制の下にあるか」を可視化すること。評価者が調査結果を公表できるという約束が守られれば、ツール選定の判断材料が一つ増えることになります。
次に確かめることは一つです。Anthropicが単独実施を約束し、アルトマン氏が「近く詳細を共有する」と書いた常駐評価者制度が、いつ、どの組織のメンバーで始まるのか。その発表が出た時点で、この提言が言葉で終わるかどうかが分かりますね。
参考(一次資料):
We Must Pace the Frontier(Dario Amodei, 2026-09-12) https://darioamodei.com/post/we-must-pace-the-frontier
METR:OpenAI-Hugging Face事案の調査報告(2026-08-26) https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/