フロンティアとオープンモデルの距離はどう決まるのか ― Nathan Lambert氏が語る、計算資源・データ・人材と、新ラボ「Trillium」の狙い
事後学習(ポストトレーニング)の解説で知られるNathan Lambert氏(元AI2、オープンなAI研究の提唱者)が、新たに非営利のAIラボ「Trillium」を始動し、その機会にポッドキャストに出演しました。話題は、オープンモデルが、フロンティアに追いつけるか、中国勢の強み、蒸留の実態、強化学習の環境市場、RSI(再帰的自己改善)の捉え方、オープンな事前学習の可能性まで多岐にわたります。投資家・ビジネスパーソンの視点で整理します。
なお、元の字幕は自動書き起こしで、モデル名や固有名詞に誤認識が含まれる可能性があります。話者の表記がなく、ホスト側の発言も混在しています。Lambert氏の見解は、同氏個人の意見です。
1. 進歩の源泉は「計算資源・データ・人材」
1-1. 3つの資本と組織の力
Lambert氏は、モデルの進歩を、計算資源、データ、人材という「資本」の投入量で捉えています。クローズドなフロンティアのラボ(OpenAI、Anthropic、Google)が最も多く持ちますが、同氏は、これらを組織としてまとめる力が重要で、その難しさのために、会社が一から作り直す例も出ると述べました。Metaは全面的に再構築し、再び上向いているという見方です。
同氏は、フロンティアで働きたい人には、まずAnthropicかOpenAIを勧めるといいます。この2社は、最も野心的な賭けを早くから行ってきた点で、見通しが立てやすいとの趣旨です。
OpenAI:
推論モデルの潮流を作った。推論時間のスケーリング則を示したグラフは「OpenAIの頂点」Anthropic:
モデルにできることに焦点を絞り、コーディング分野への注力が、Claude Codeの拡大という成果につながった
1-2. 中国のラボがオープンにする理由
同氏は、中国企業が、オープンモデルを出す理由を、利他主義ではなく、実務的な判断だと説明しました。中国から有料のAPIを売っても、誰にも知られないため、オープンにして議論に入り込む近道にしている、という見方です。政府の関与を前提とした見方は取らず、「普通のスタートアップが追いつこうとしている」構図だと述べています。
また、将来はモデルが階層化するとみています。
最高性能のクローズドモデル(高い利益率を取れる)
それに一歩及ばない準フロンティアのモデル(オープンになり、企業の私有データなど、別の市場を狙う)
2. 蒸留は「主要因」か
2-1. 中国勢の強みは人材、弱みは計算資源
Lambert氏は、中国のラボは、技術的に非常に優れており、人材は同等だと述べました。足りないのは、計算資源で、中国の研究者に、OpenAIの平均的な研究者が、約5,000基のH100相当にいつでもアクセスできると話すと、驚かれるといいます。
蒸留は、計算資源の不足を補う手段(お金を使って、計算資源に相当する出力を得る方法)だと位置づけつつ、その効果は限定的だとみています。
2-2. 文献に基づく根拠
同氏は、事後学習の変化を次のように説明しました。
以前は、教師あり微調整(SFT)が中心で、強いモデルの出力を作り、それを学習させると性能が上がった。プロンプトが鍵になる
現在は、強化学習の環境が中心で、完成した出力の学習(蒸留)と、推論の仕組みを結びつけるのが難しい
同氏は、公開されている研究では、最高峰のモデルの推論過程を使ったSFTだけで性能が上がるとは言いにくいと述べました。オープンな事後学習の研究者が、古いQwenモデルを使い続けているのも、教師の選び方が難しいためだという仮説です。自身がClaudeの推論過程を使えたとしても、モデルが大きく良くなるとは限らないと話しています。
そのため、同氏が、「蒸留で数か月分の差が縮む」と言うのは、公開された科学的文献に基づく推定で、誤差の幅は大きいとしています。Kimiの製品でClaudeを提供していた例や、中間業者を通じた大量のトークン利用といった、蒸留では説明しにくい不審な事例もあり、さらなる調査が必要だと述べました。
2-3. 対策と政策への見方
推論トークンがAPIに出る限り、この種の蒸留は止められない。APIを閉じ、企業契約に限るのは、各社の判断として理解できる
ただし、顧客確認(KYC)の義務化は、誰にとっても望ましくないとみる
利用規約の違反に、政府を関与させることには賛成しない。米国と中国の対話が必要な時期でもあり、蒸留への対応は、害のほうが大きいかもしれない
国家安全保障コミュニティの懸念には、方向としての真実があるとも認めている
番組では、Jensen Huang氏の「人々は、私の製品を毎日蒸留している。それは競争だ」という発言が引用され、ホスト側は、オープンソースとスタートアップが恩恵を受けている点も指摘しました(DecagonやHarveyのような企業の事例への言及あり)。一方で、フロンティアのラボの資金循環(巨額の計算資源→収益→追加調達、IPOを含む)が脅かされることは、業界全体の悪材料になるという見方も示されました。
3. オープンとクローズドは「別の時間軸」
Lambert氏は、クローズドのラボは、推論基盤が統合され、規模の経済があり、高価値な市場に先に入れるため、今年はコーディングで売上が急増したと述べました。オープンモデルは、モデルの開発者、推論事業者、事後学習事業者に分かれており、顧客からの情報がモデル開発者に戻りにくく、利益率も取りにくいという構造です。
それでも、企業には、APIに送れない私有データがあり、社内の評価基準を作り、微調整し、重み(ウェイト)という「所有物」を得るまでには長い時間がかかる、という説明です。同氏は、オープンの経済圏は成立に時間がかかるが、バブルを心配するものではないとしました。
ホスト側は、Cursorが夏に公表した、SQLiteの書き換えという長期タスクの例を挙げました。2つのフロンティアモデル(計画役と実行役)を使うより、自社のComposerと別のモデルの組み合わせのほうが、同等の性能で低コストだったという趣旨です。
4. 進歩の本質は「データ」と強化学習環境
4-1. 検証しにくい領域はデータの購入で伸びる
Lambert氏は、数学やコードは検証が容易なのに対し、知識労働、生物学、医療、法律などの領域は検証が難しく、「高品質なデータを買い、モデルが行動する世界を与えて学習させる」ことで伸びていると述べました。OpenAIがロボティクスのデータを購入したのも、この一例だとみています(ホスト側は、コンピュータ操作の延長だという別の見方も紹介)。
4-2. 環境市場の課題
環境やデータを提供する企業は急成長し、研究予算の数十億ドルが環境に使われている
ただし、購入しているデータの質は完全ではなく、「大量に買って、有効なものを見極める」方式で、的中率は100%ではない
品質が不十分だと、モデルが「報酬ハッキング」(課題を想定外の方法で突破する)を起こす。例として、テストファイルが空のため、高い報酬を得る別の方法を探してしまうケース
海外の契約者が、仲介業者を通じて作業し、GitHubにアップロードするなど、データ産業には粗い面もある
ラボは、データ漏洩の懸念から、内製化を進めている
同氏は、モデルの効率は数年で乗数的に改善するとみており、価格が8か月で半分になる(2倍の効率)ペースが3年続けば、コストは大幅に下がると述べました。ジェボンズのパラドックスで利益率が上がるのか、市場が満たされて売上が減るのかは、不確実だという認識です。
5. Trillium:オープンな環境とRSIの「見える化」
5-1. 目標
Lambert氏のTrilliumは、非営利のラボです。主な取り組みは、次のとおりです。
オープンな強化学習環境:ターミナル作業などの環境を、公開データとして提供する。同氏が助言した「T-Max」という研究では、フロンティアモデルで課題を合成し、モデルの試行でバグのあるものを除き、データを1件ずつ確認する。作るには数千〜数万ドルかかるが、利益を目的とする企業は、公開しにくい
RSIの見える化:オープンなSFT・中途学習のスタックを使い、使ったツール、設定、計算資源、タスク、モデルが何に成功し、何で詰まったかを、1年かけて公開する。政策担当者にとって、「モデルがここで詰まった」という実例が、議論を具体化するという狙い
事前学習は行わない:任意のベースモデルを使い、競争の恩恵を受ける
社名のTrillium(エンレイソウ)は、樹木が葉をつける前の春先に咲き、栄養を循環させる花に由来します。AI産業が成功している今こそ、新しい人が入れる余地を広げたい、という意味だと説明しました。
5-2. RSIの捉え方
同氏は、RSIは神秘的に語られ過ぎていると述べ、次のように整理しました。
モデルは、提供コストの削減など、検証しやすい領域で、驚くほど役立つ。しかし、知識労働全体の解決は別問題
すべてのスケーリング則は、指数関数的な計算資源の増加で、線形の性能向上にとどまる。フロンティアのラボが指数的に支出を増やして進歩を保っている状況は、「高速な離陸(fast takeoff)」とは別物
ラボで使われる手法は、秘密ではなく、成功する配合の割合を見つけるのに資本が要る
ただし、モデルが、トランスフォーマーとは全く異なる新しい知能を発見するなどの事態が起きれば、見方を改めるべきだ
番組では、研究者自身が「自分の仕事は自動化される」と感じているという話題も出ました。別の大学等による「Open RSI」の取り組みが、先週始まったことにも触れられています。
6. オープンな事前学習は可能か
Lambert氏は、事前学習の科学は、道具が比較的利用しやすく、数十億ドルがなくても、優れたベースモデルは作れると述べました。新しいラボが、ゼロから作る例が続いており、最初のモデルが「使える水準」に達し、次の資金調達につながることが課題だといいます。Thinking Machinesの最初のモデルの公開や、Metaが再びオープンウェイトのモデルを出すという噂に言及しました。
一方、事後学習は、推論の仕組みの導入、既存モデルの推論行動の継承、RLなど複雑で、「無法地帯」のようだと述べています。同氏がAI2を離れたのは、事後学習のサイクルの速度が足りなくなってきたためで、少ない資本で大きな進歩が出せる領域に注力したいと話しました。
7. ハーネス、エージェント群、残るリスク
ハーネス:クローズドのラボは、自社製のハーネスに最適化し、Appleのような統合型になると予想していた。実際は、多様なハーネスに対応する必要があり、オープンモデルとの差は小さくなった
エージェント群(スウォーム):数千〜数万のエージェントを動かす仕組みは、OpenAIとAnthropicが先に作るだろう。他社は、計算資源が足りず、先には作れない。しかし、サイクルは繰り返され、後に他の企業も追随する
情報の漏洩:シリコンバレーでは、アイデアが飲み会で広がるため、秘密は守りにくい。ラボが優位を保てるのは、推論の基盤を拡大し、安価な知能を提供し、高い利益率を得られる点
多くの勝者:コーディング以外にも、知識労働全体が市場であり、ラボがすべてを同時にはできないため、多くの勝者が出るとみる
最後に、同氏は、より懸念しているのは、RSIの暴走ではなく、すでに存在するリスク(サイバーセキュリティなど)への、社会の備えがほぼないことだと述べました。「より多くの目と科学が必要だ」という立場ですが、これは複数ある意見の一つだとも断っています。
