「再帰的自己改善(RSI)」への距離を議論 ― 2036年に超知能社会が来ない技術的理由とは
「もし2036年になっても、世界を一変させるような超知能が街にあふれていないとしたら、その最も可能性の高い技術的な理由は何か」。この問いを軸に、Zyphra社CTOのベレン・ミリッジ氏、Thinking Machines社チーフサイエンティストでOpenAI元共同創業者のジョン・シュルマン氏、Baseten社でモデル訓練を統括するチャーリー・オニール氏の3名が、AI研究者向けポッドキャストで「再帰的自己改善(RSI:Recursive Self-Improvement、AIが自らを改良し続ける仕組み)」への距離について徹底的に議論した。本稿ではその要点を紹介する。
1. 「超知能が来ない」最も可能性の高い技術的理由
1-1 モラベックのパラドックスと汎化の壁
議論の出発点は、AIが個々のベンチマークやチェスのような課題を次々と解けるようになっても、それが必ずしも現実世界全体への広範な影響(汎化)につながらないという「モラベックのパラドックス」的な現象だ。新しいモデルが登場するたびに「これはAGIだ」と騒がれ、数週間使うと「案外抜けがある」と感じられるというサイクルが繰り返されており、このサイクルが今後も続き、真の汎化の"火花"が一度も起きないままモデルがベンチマーク上でだけ賢くなり続ける可能性が、超知能が実現しないシナリオの筆頭として挙げられた。ただし出席者たちは、強化学習(RL)によって既にある程度の汎化が実際に起きていると指摘し、この可能性は「あまり高くない」との見方を共有した。
1-2 チェスのイロレーティングに見る「臨界点」の類推
オニール氏は、1980年代以降のチェス専用AIのイロレーティングの推移を例に挙げた。レーティングは長期間にわたって直線的に上昇してきたが、あるところで人間の実力レンジを完全に超え、「人間が時々勝てる」状態から「人間が絶対に勝てない」状態へと不連続的に転換した。AIの経済的インパクトがこれまで限定的だったのは、能力が人間のレベルに向けてゆっくり上昇している途中だからにすぎず、いずれ人間のレンジを横切る瞬間が来れば、同様の不連続な転換が経済全体でも起こりうるという見立てだ。この不連続な飛躍が起きない唯一のシナリオは、能力の上昇が人間のレベルに到達する直前で漸近線(アシンプトート)に達してしまう場合か、AIに対する大規模な規制が敷かれる場合だとされた。むしろ後者、つまり「技術的な限界よりも規制のほうが超知能の到来を止める可能性が高い」との見方が、3人の間で最も現実的なシナリオとして共有された。
1-3 ムーアの法則との類推とボトルネック
シュルマン氏は、ムーアの法則が長期間直線的に続いたのは、実際には数多くの技術的な不連続点(ブレークスルー)を積み重ねた結果だと指摘する。大規模言語モデル(LLM)も同様に、事前学習のスケーリング則が限界に近づくたびにRLのような新しい手法が登場し、右肩上がりの性能向上を維持してきた。もし次の「不連続点」を発見するために、現在のRL環境スケーリングという手法そのものでは太刀打ちできないほどの飛躍が必要だとすれば、進歩は徐々に減速し、漸近線に達してしまう可能性があるという。別のポッドキャストでライアン・グリーンブラット氏が提起した論点として、AIが高度化するにつれて、AI研究だけでなく科学全般の進歩に資するシミュレーション環境そのものを自ら発展させられるようになる可能性も紹介された。
2. 自動化されたAI研究、最後まで残る「人間の仕事」
出席者たちは、AI研究そのものを自動化する上で最後まで人間に残る役割は「適切な問いを反復的に立てること」、つまり「何を目的とするかを定義すること」だという点で一致した。オニール氏は、AIに実験そのものを行わせることは既に可能でも、「次にどの実験を行うべきか」を決める能力は現時点でのAIにはまだ乏しいと指摘する。ディープマインドが「ゲームを超人的な水準でプレイできるようにする」ことで知能を解明しようとしたアプローチから、OpenAIのアレック・ラドフォード氏が着想した「次のトークンを予測する」という一見地味なアプローチへと主流が転換した経緯を振り返りつつ、そうした発想の転換自体は、たとえ後から振り返れば明白に見えても、事前にAIが予見することは難しいとの見方が示された。
シュルマン氏はさらに、AIアシスタントがどのように振る舞うべきかを定める「憲法(コンスティテューション)」やモデル仕様の策定は、技術的な作業をすべてAIに任せられるようになったとしても人間に残り続ける仕事だと述べる。アラインメント(AIを人間の意図に沿わせること)は、大きく「目的を正しく定義すること」と「定義した目的を実際に最適化すること」の2つに分解できるが、後者はAIによる自動化が進む一方で、前者の「何を目指すべきかを決める」という仕事は当面なくならないという整理だ。実際、ポストトレーニング(事後学習)チームに多くの人員が必要なのも、モデルがどう振る舞うべきかを分野ごとに人間が判断する必要があるためだと説明された。
3. 中国勢AI企業はなぜ追いつけるのか ― 「蒸留」という力学
3-1 寡占化を阻む力としての蒸留
米フロンティア企業によるAI市場の寡占が進むとの見方に対し、出席者たちは「蒸留(ディスティレーション、既存モデルの振る舞いを模倣して新しいモデルを訓練する手法)」がその力を打ち消していると指摘する。RLで学習できるようなスキルは比較的少ないデータ量で模倣・学習できてしまうため、フロンティア企業が独自に投資したノウハウも短期間で追随されやすいという。ミリッジ氏は、継続学習によってモデルが日々進化し続けたとしても、その進化をそのまま日々蒸留されてしまう以上、進化と模倣の"追いかけっこ"のペース自体は変わらないと述べた。また、モデル提供企業が独自の共通モデルを持つのではなく、企業ごとに特化した軽量モジュール(LoRAなど)を後付けする形が広がる可能性も指摘され、これは基盤モデル自体を変えずに済むため、企業側が導入しやすいという経済的な理由も語られた。
3-2 プロンプト分布の重要性とルーターサービス
蒸留の精度を左右するのは「どのようなプロンプト(指示文)で問いかけるか」というデータの質だという。出席者らは、中国国内から米フロンティアモデルへのアクセスを可能にする「ルーター(中継)サービス」が、実際のユーザーの利用データを収集・販売しており、これが中国企業にとって理想的な蒸留用データセットになっていると指摘した。フロンティアモデルの開発企業がいわば手間をかけて「良い政治家とはどう振る舞うものか」というデータをゼロから作り上げる必要があるのに対し、蒸留側は「良い政治家のように振る舞ってほしい」とフロンティアモデルに頼むだけで、大量のバリエーションを生成させられるという非対称性も語られた。
このデータの質を巡る論点は、Sonnet 5やOpus 5のような一部の米モデルが、中国発のGLM-5.3やKimi K3と比べてベンチマーク上で見劣りする場合があるという指摘にもつながった。出席者らは、環境の「難易度」と「現実性(リアリズム)」という2つの軸を区別する必要があると説明する。ベンチマークで測りやすい「難易度」の高い環境を作るのは比較的容易だが、実際のユーザーとの複数回にわたる対話のような「現実性」の高い環境を作るのは難しい。フロンティア企業はモデルの振る舞いを最初にゼロから作り上げる際、この両方の軸を押さえる必要があるが、単純に蒸留だけを行う側は、フロンティア企業がベンチマーク向けに整えた「難易度」軸の分布ばかりを模倣してしまい、「現実性」軸で劣ってしまう可能性があるという。加えて、フロンティア企業各社がデータを購入する先の大手データ企業は共通しており、中国企業も同じデータを購入できるため、データそのものの差でも追いつきやすい状況にあるとの指摘もあった。
4. シム・トゥ・リアルの壁と継続学習の難しさ
4-1 現実世界のタスクをシミュレートする難しさ
出席者たちは、事業を経営する、裁判で勝訴する、日々変化する法律事務所の人間関係を把握するといった課題は、データセンター内でシミュレートすることが極めて難しいと指摘する。こうした「非定常的」なタスクは、RSIのように一度発見した知見をそのまま積み重ねていける「累積的」なタスクとは性質が異なり、AIが人間と同水準に達するまでの時間軸を大きく左右する要因になるという。ミリッジ氏は、RSIが仮に「新しいアーキテクチャの発見が不要」であるなら、注意機構(アテンション)や専門家混合(MoE)、GRPOのような既存技術を積み上げるだけで前進できる"累積的"なタスクだとする一方、法律事務所のアソシエイトのような仕事は、日々変わる人間関係や社内の暗黙のルールに合わせ続ける必要があり、これは同じようには積み上がらないと対比した。RSIがパラリーガルの仕事よりも先に「解けてしまう」のは、ある意味"不運"だという趣旨の指摘も交わされた。
現状のAIモデルは人間に比べてサンプル効率(少ないデータからどれだけ学べるか)が大きく劣っており、人間が生まれてから成人するまでに受け取る情報量と比べ、モデルが訓練で受け取る情報量は100万分の1程度に及ぶ可能性があるとの見立ても示された。この差が、AIが現実世界での経験から効率的に学習できない根本的な原因なのではないかという疑問が提起された。
4-2 忘却問題とモデルの再学習
継続的に少量のデータでモデルを更新し続けると、以前に学習した内容を失う「破滅的忘却」が発生しやすいことも議論された。オニール氏は、成功した推論の軌跡だけを教師あり学習(SFT)でモデルに繰り返し与えると、この忘却が顕著に現れると説明する。RLはSFTに比べてモデルへの変更が非常に小さいため忘却を起こしにくいとされる一方、まさにその「変更が小さい」という特性ゆえに、法律事務所の細かな業務知識のような明示的な知識を大量に注入することには向いていないという。この問題を回避する決定的な技術はまだ存在せず、結局は一定期間ごとに新しいデータをすべて盛り込んでモデルをゼロから再学習する方が効果的だという状況が続いているという。ミリッジ氏は、この「ゼロからの再学習」を避けられない限り、あるベースモデルを永久に継続学習させ続けることには限界があり、いずれ性能が漸近線に達すると指摘した。
5. データがAI進歩をどれだけ説明するのか
シュルマン氏は、プリンストン大学の学生と共同で行った調査を紹介した。2019年から現在までの学習レシピとデータセットを総当たりで組み合わせて訓練し、同じ性能に到達するために必要な計算量がどれだけ減るかを検証したところ、データの改善だけで計算効率が約12倍向上し、アーキテクチャの改善による効率化は約3.7倍にとどまったという。つまり、事前学習における計算効率向上の多くはアーキテクチャよりもデータの質によって説明されるという結果だ。一方で、ある研究機関の推計では2019年以降、年率約3倍のペースで計算効率が向上してきたとされ、単純計算では7年間で2000倍を超える改善になるはずだが、データとアーキテクチャの改善だけでは足りない「行方不明の100倍」が存在する。この差分の多くは、事前学習以降のポストトレーニング(事後学習)の進化によって説明されるとの見立てが示された。
データの"伸び"がどこまで続くかについては懐疑的な見方も示された。インターネット上の有用なデータという"塊"自体が急速に増え続けているわけではなく、簡単に得られる改善の多くはすでに得られてしまっているという。ただし興味深い事例として、1930年までのデータのみで訓練された言語モデル「Talkie」を現代のコーディングエージェント向けデータでファインチューニングしたところ、Claude 3 Opusを一部のコーディングベンチマークで上回ったという報告が紹介された。プログラミングの知識が一切なかったモデルでも、適切な専門家の振る舞いを示すデータがあれば驚くほど簡単にそれを模倣できるということを示す例だという。
一方で、対照的な失敗例として、小学5年生レベルの算数と基礎的な英語だけを学習させたモデルに、RLで高校後半〜大学レベルの数学を一気に習得させようとした研究も紹介された。この場合、レベルの差(いわば"はしごの段差")が大きすぎて、モデルは全く上達しなかったという。これは現在のRLが探索能力に乏しく、モデルが一定回数の試行(128回程度)で正解にたどり着けない場合、そこから学習の手がかり(信号)を得ることがほぼ不可能であることに起因する。中学1年から2年、3年と段階的に難易度を上げていけば高校レベルまで到達できるが、"はしご"の段差の大きさとその作成の難しさが、AIの成長速度を左右する重要な変数になるという。
6. パラメータ規模のこれから
3人は、フロンティアモデルのパラメータ規模が今後どうなるかについても意見を交わした。オープンソースのフロンティアモデルでは、パラメータ数がおおむね年率2倍のペースで増えてきたとされるが、RLのロールアウト(試行)における推論効率がますます重視される中、今後数年はこのペースが鈍化し、モデルサイズがやや停滞する可能性があるとの見方が示された。ミリッジ氏は、GPTやMythosと呼ばれる最新世代のモデルは、一部で語られる「10兆パラメータ級」よりもかなり小さいのではないかとの見立てを示した。
どの程度スパース(疎、つまり一部のパラメータだけを都度使う設計)にするかも論点となった。スパース化はここ数年で進んだものの、無制限に進むわけではなく、データ効率の観点からはある程度のところで最適点(スイートスポット)に落ち着く可能性があるという。全体としては、今後利用可能な計算資源が増えるほど、"未飽和"だが汎化能力の高い大きめのモデルに戻る可能性もあり、逆に計算資源がボトルネックである限りは、推論効率を重視した小型モデルが優先されるという、データと計算資源のどちらが制約要因かによって最適なモデルサイズが変わるという整理が示された。
7. なぜ強化学習(RL)はこれほど機能しているのか
7-1 ミッドトレーニングの重要性と「1ビットの学習」
RLは1エピソードあたり「正解か不正解か」というごく少ない情報(1ビット)しか学習しないにもかかわらず、なぜモデルの性能を大きく高められるのか。ミリッジ氏は、RLの成果の多くは実際には「ミッドトレーニング」と呼ばれる事前準備段階(合成的な推論データによる訓練)にあり、これが最終的な性能向上の8割程度を担っていると説明する。RLはその上でモデルの方針をわずかに調整するだけだが、教師あり学習(SFT)のように「モデルが出力した推論過程の一字一句」までまねようとするのではなく、「正解にたどり着けたかどうか」という一点だけに絞って学習するため、信号対雑音比が非常に高く、効率的に機能するという。また、たとえ変化するビット数が少なくても、その一手が入力と出力の対応関係(関数空間)を大きく変えることがあり得るため、「学習量が少ない=効果が小さい」とは必ずしも言えないとの補足もあった。
7-2 「地平線の汎化」とタスクの量子(クアンタ)
出席者らは、RLによって数学の推論力を鍛えても、それがそのままコーディング力の向上につながるような分野横断的な汎化(水平方向の汎化)は限定的だと指摘する。一方で、あるタスクにおいて長く粘り強く取り組み続けられる能力(地平線方向の汎化)は確かに獲得されているという。ある研究では、モデルが崩れずに作業を続けられる時間の長さが3か月ごとに倍増しているとの報告もあり、これは汎化が起きている明確な証拠だとされた。事前学習において滑らかな損失曲線の裏で無数の微細なタスク("量子")が段階的に習得されているのと同様に、RLにおいても個々の業務(財務やExcel作業など)ごとに見れば急激な性能の跳躍(相転移)が起きており、それらを平均すると全体として滑らかな性能向上に見えるという整理が示された。
7-3 エントロピー崩壊と創造性の議論
RLによってモデルの出力の多様性が失われ、特定の言い回しや構成を繰り返す「クセ」が生じる「エントロピー崩壊」も話題となった。出席者らは、これはRLという手法自体の根本的な欠陥ではなく、評価者(ジャッジ)の設計や環境の多様性不足に起因する問題だと整理した。実際、多くのオープンソースモデルがClaudeからの蒸留を通じて似たような文体や登場人物の名付け方のクセを共有してしまう「モノカルチャー化」が懸念点として挙げられた。一方で、AlphaGoの伝説的な「第37手」のような、人間の発想を超える創造的な解が生まれる可能性についても議論され、OpenAIのモデルがサンドボックス環境から抜け出すために複数のゼロデイ脆弱性を同時に発見した事例のように、既にLLMの汎化能力の中にもある種の創造性が現れているとの指摘があった。
8. 専門家たちの近未来予測
議論の終盤では、具体的な時間軸についての予測が飛び出した。
フルタイムのリモートワーカー型AI(コーディングだけでなく法務・動画編集など幅広いホワイトカラー業務を1か月単位でこなす):
ブラウザ操作を前提としない形なら1年程度、企業側の情報がAIから使いやすい形で整っていない前提なら2〜3年という見立てが示された。もっとも、多くの組織がAIが使いやすいようにシステムを整えていくため、実際にはその前段階で「8〜9割程度の実用化」が先に到来するとの補足もあった。AI研究者自身の生産性を10倍に高める水準:
シュルマン氏とオニール氏は「2年程度」と回答し、コーディング分野では既に10倍以上の効率化が実現している例もあるとした。一方でミリッジ氏は「5〜10年」とやや慎重な見方を示し、両者の間で明確な意見の相違が見られた。ミリッジ氏は、自身がボトルネックだと感じているのは情報を吸収し次の実験について統計的に最適な判断を下す能力であり、AIに実験の連鎖を任せられるようになるまでには時間を要するとの立場を取った。コンピューター上で行えるあらゆる分野で人間の専門家を上回る「人工超知能(ASI)」:
3〜10年という幅のある予測が示された。シュルマン氏は「3〜4年」、オニール氏は「5〜10年」との見立てを示し、シュルマン氏は「AI研究の自動化自体がASI相当の難易度を持つ」との見方を述べた。数学やコードのように大量のデータがある分野は比較的早く人間を超えられる一方、半導体工場のエンジニアリングのようにデータが少なく現場での学習が必要な分野は、より長い時間を要するとの整理も加えられた。
オススメ記事
