AlphaGoのDavid Silver氏が設立したIneffable Intelligence、「3年以内に超知能」と予測 ― 社員20人、Vera Rubin級クラスターで「人間のデータなし」の強化学習に挑む
AlphaGoを率いたDavid Silver氏が設立したAIラボ、Ineffable Intelligenceの共同創業者2人(Silver氏とLasse Espeholt氏)が、ポッドキャストに出演しました。話題は、同社が掲げる「スーパーラーナー」の定義から、人間のデータを使わない学習の意義、シミュレーション環境「クルーシブル」、計算資源、安全性、チームの方針、超知能の到達時期の予測まで多岐にわたります。本稿では、投資家・ビジネスパーソンの視点で主要な論点を整理します。
なお、元の字幕は自動書き起こしで、人名や固有名詞に誤認識が含まれています。Espeholt氏の名前、クラスター名(Vera Rubin)などは文脈からの推定です。公開前に公式情報で確認してください。
1. Ineffable Intelligenceとは何か
1-1. 創業の動機:LLMの外側に灯りを探す
Silver氏は、2009年の博士論文で、囲碁への強化学習の応用を扱いました。以来、「経験から学び、自分で発見するシステム」こそが知能、さらには超知能に至る道だという確信を持ち続けてきたと話します。
DeepMind内で続ける選択肢もありましたが、同氏は、自分が信じる道は「LLMベースの製品を中間地点としない」ものだと述べました。この道は組織の片隅で進めるべきものではなく、全力で体現する専任のラボが必要だと考えたそうです。
また、世界にはすでに数万から数十万人の優秀な研究者が、LLMの事前学習・事後学習・コーディングという同じ方向に取り組んでいます。そこで「自分が何万人目になるのが最も効果的か」を考え、今は誰も探していない「別の街灯の下」に力を注ぐ方が大きな影響を与えられると判断したといいます。
1-2. 社名「Ineffable」の由来
社名の由来は、超知能がいずれ発見する知識が「人間の言語では表現できないほど深遠かもしれない」という発想です。人間の言語に依存しない道筋と一致する名前だと説明しました。同氏は「秘密の第2の理由」として、経験からの学習に賭けるなら「失敗するはずがない」という冗談も添えています。
1-3. 共同創業者Lasse Espeholt氏の経歴
Espeholt氏は2015年1月にDeepMindへ入り、2016年ごろからSilver氏と協働しました。2018年夏にGoogle Brainへ移り、両組織の統合後にDeepMindへ戻り、Silver氏の退社の約1年前に再び退社しています。最初にIneffableの話を聞いたのは、後に出資者となる投資家から「Daveをどう思うか」と尋ねられたときで、その後に声がかかったそうです。欧州にこうした機会があることも魅力だったと述べています。
Silver氏は、Espeholt氏が強化学習を大規模に拡張する初期の取り組みを担い、今日使われている大規模RLのアイデアの多くが、その仕事にさかのぼると紹介しました。
2. 「スーパーラーナー」と「超知能との最初の接触」
2-1. 深さと広さの2軸
Silver氏の定義では、スーパーラーナーは2つの能力を備えます。
深さ:何も知らない状態から出発し、人間の知識をはるかに超える発見に到達できる
広さ:シミュレーション、デジタル、物理世界など、どの経験の流れに置かれても学び続けられる
比喩として、人類は「頭の中の灰色のかたまり」から出発し、言語、技術、科学、数学を集団で発見してきた点を挙げます。設計図も1兆件のデータセットも与えられず、自分たちで見つけたこのプロセスは、AIではまだ誰も実現していないと述べました。
2-2. 「最初の接触」とは
超知能に出会う感覚について、Silver氏は驚嘆の経験になると話します。実体験として、囲碁やチェスで超人的な水準に達した際に、棋士たちが驚き、喜んだことを挙げました。これを科学や技術の新分野で起こすことが目標です。
2-3. 現行のLLMとの違い
LLMが数学の難問などで成果を出していることには敬意を示しつつ、Silver氏は2点を指摘しました。
現状の発見には、人間が関与する作業が多く必要で、完全に自律的ではない
身体を持つ実世界での学習には、言語ベースの手法が適しているか自体が不明で、人間のデータが「足かせ」になっている可能性もある
3. 日々の研究:RLスタック、クルーシブル、人類の歩みを目安にする
3-1. 取り組みの2本柱
日々の作業は、大きく2つに分かれます。
大規模に動かせる最先端の強化学習スタックの構築
スーパーラーナーが学べる環境「クルーシブル(るつぼ)」の構築
クルーシブルは、知能と呼ばれるものすべてを表現・学習できるシミュレーション環境です。
3-2. マイルストーンは人類の発見の再発見
研究の目安は、人類が歩んだ発見の道のりです。エージェントが、人類の大きな発見の場面を自力でたどり直せるかを見る形です。最初に何が再発見されるかは分からず、「驚きたい」と答えました。
4. 「パンくずを置かない」強化学習
4-1. 単純な報酬から複雑さが生まれる
Silver氏は、現在のLLM向けRLの多くは、課題を順に与えて目標に誘導する「パンくずの道」を作っているのに対し、自社は異なるやり方を取ると述べました。
科学や数学のような複雑な概念を完全に表現する報酬関数を作るのは難しい
代わりに、単純で最適化しやすい目標を、学ぶことの多い複雑な環境で与える
自然界の例として進化を挙げます。「適応度」という単純な指標の追求から、生命の複雑さが生まれたという見方です。人間の歴史でも、協調、コミュニケーション、交易、算術、道具、科学、数学へと、単純な目標から複雑さが積み上がったと説明しています。
4-2. 具体的な報酬は多数を試行中
報酬は「いくつも実験している」段階で、科学や言語を厳密に定義する報酬は作らない方針です。Newton力学の時代には、量子力学も相対性理論も知られていなかったという例を挙げ、未知の分野を発見させるには、定義を先回りしない姿勢が必要だと話しました。
5. クルーシブルの設計思想
5-1. 手作りのパズルではなく、創発する複雑さ
クルーシブルは、手作りの課題の集まりではなく、複雑さが生まれる環境として設計されています。複雑さの源は次のようなものです。
数百万の物体が相互作用する物理エンジン
数百万のエージェントが存在し、他のエージェントの複雑さがそのまま環境の一部になる世界
従来のAtari 57などの標準的なシミュレータやベンチマークより、はるかに複雑な世界を作れるとSilver氏は主張します。
5-2. 速く回せる単純な環境も並べる
Espeholt氏は、囲碁のように表現が単純でも複雑な振る舞いが生まれる例を挙げました。一方、物理を100%現実的に再現すると計算コストが非常に大きくなります。そのため、素早く反復できる単純な環境から複雑な環境までを揃える方針だと説明しました。
5-3. 囲碁の例:1人は退屈、2人で無限
Silver氏は、囲碁を「1人用なら最も退屈なゲーム」と表現しました。碁盤に石を置いていくだけで戦略がないからです。そこに2人目のエージェントが入ると、相手のあらゆる行動を考える必要が生じ、複雑さが跳ね上がります。同氏は、開発時に投入した計算量では、学習曲線に終わりが見えなかったと述べています。
6. 言語と人間の事前知識を手放す理由
6-1. 人間の言語は終点ではない
Silver氏は、人間の言語が推論の終点、または最良の手段だと考えるのは「やや素朴」だと述べました。神経的で並列化可能な、より表現力の高い推論があり得ると見ています。さらに、言語から出発すると、人間の偏見を取り込む問題もあるとします。
例として、仮に2,000年前の言語だけで学習した場合、エージェントは「地球は平らだ」「病気は4つの体液で起こる」といった信念を持ち、その除去が難しくなりうると話しました。
6-2. AlphaGoからAlphaZeroへ:2年と数時間
人間のデータを手放す効果の実例として、Silver氏は次の経緯を挙げました。
AlphaGo:人間のデータを使い、人間が各世代の改良に介入しながら約2年かけて李世ドル氏に勝った
AlphaZero:人間のデータを捨て、自力で発見するアルゴリズムに集中した結果、約2年分の成果を数時間で上回った
チェスでは、それまでで最強のAIが世界王者を倒した水準に4時間で到達した
囲碁では「数日だったと思う」と述べている(正確な日数は曖昧)
AlphaZeroについて、Silver氏は事前には「5割ほどの確信」だったと言います。確実に分かっている問いは退屈で、五分五分の問いこそ研究に値するという考えです。
6-3. 短期的な性能を犠牲にする賭け
同氏は、人間のデータを使わないことは短期的には性能を手放す選択だと認めています。それでも、次の2点から、より大きな到達点につながると主張しました。
人間のデータに頼るほど、人間の知識を超える発見をするアルゴリズムを見つけにくくなる
センサーのように、言語や人間のデータが適さない領域でも学べる必要がある
また、今のLLM企業の多くは「数千人が学習の過程に関与する半自律の仕組み」を作っており、それは機能するものの、自己学習するプロセスを見つけるまでは真のスーパーラーナーに至らないという見方を示しました。
6-4. 「宗教ではない」実務的な立場
Espeholt氏とSilver氏は、人間の事前知識を一切排除するわけではないとも述べました。環境を問わず使える弱い事前知識は妥当で、避けたいのは特定の世界の知識を強く埋め込む、1兆件規模のデータセットに頼る形だと説明しています。
7. 確信度、タイミング、計算資源
7-1. 実現可能性とタイミング
Silver氏は、スーパーラーナーが実現可能だという点には強い確信があると述べました。人間の脳が、汎用的で身体を持つ知能の「存在証明」だからです。成否を分けるのはタイミングで、スタートアップが早すぎても遅すぎても難しいと話しています。
過去の予測実績として、次の例を挙げました。
コンピュータ囲碁:約10年前に予測し、年単位で的中した
StarCraft:賭けと予測を行った
AlphaProof:国際数学オリンピック(IMO)の攻略時期を予測した
今がその時期だと考える理由は、LLMによるコーディングや自動研究で研究を加速できること、スケーリング則への理解、技術スタックの成熟だとしています。
7-2. 計算資源が大きな推進力
計算資源を「巨大な推進力」とし、現在の環境なら、OpenAIの「かくれんぼ」実験より約10万倍の計算を使う実験ができるだろうと話しました。Espeholt氏は、大規模クラスターを確保できたことで、DeepMindではできなかった形で試せると述べています。
7-3. クラスターの構成
Espeholt氏によると、同社はGCP(Google Cloud)上で、現時点で最大とされるVera Rubinクラスターの最初の顧客だといいます。書き起こしでは名称が不明瞭なため、正確な名称は公式情報で確認してください。
NVIDIA GPUベースで、シミュレーション、学習、推論を同じ系統で扱える
Rubinのラックは1台のマシンのように扱え、ノード間の帯域が高い。これは、反復サイクルが速いRLで重要
以前のGoogleのように大量のCPUに頼る方法は通用しないため、シミュレーションもGPU上で動かす設計にしている
7-4. 学習・推論・シミュレーションの課題
Espeholt氏は、GPUは学習、近年は推論に最適化が進んだ一方、シミュレーションには最適化されていないと指摘しました。対策として、モデルベース強化学習、リプレイバッファによるデータの再利用、シミュレーション自体の高速化を挙げています。スケーリング則については、RLは問題が非定常でデータ分布が変わるため、LLMとは異なる研究課題で、大きなクラスターに向けて準備中だと述べました。
7-5. IMPALAとSEED RL
Espeholt氏は、自身の代表的な仕事として2つを紹介しました。
IMPALA:当時CPUベースが主流だったRLを、GPUで大規模に動かすエージェント。計算量に応じてほぼ線形に拡張でき、社内で広く使われた
SEED RL:Google Brain時代に、TPUのラックを推論・学習の両面で活用するために作った
同社は、これらの派生アルゴリズムを実装し、環境に応じて使い分けています。
8. シミュレーションの限界とRich Suttonの指摘
8-1. 超知能はシミュレーションで作れるか
司会者は、Rich Sutton氏が番組でシミュレーションに否定的だったことを紹介し、限界はどこかと尋ねました。Espeholt氏は、Google Brain Amsterdamで手がけた短期天気予報モデルMetNetを例に、物理シミュレーションは誤差が蓄積し、機械学習の方が優れていたと説明し、完全な物理がなくても有意義なことはできると述べました。
Silver氏は、問いは「超知能はシミュレーションで構築できるか」だと整理します。可能なら、次の利点から10倍〜100倍速く進むと見ています。
無限に並列化できる
完全に再現できる
超知能を作る場として最も安全
8-2. 何でも表現できるという論拠
Silver氏は、チューリング完全なシミュレーションなら、計算に関わるすべてを表現できると述べました。同様に、通貨の表現があれば経済、通信チャネルがあれば言語を扱えるとしています。科学についても、環境に複雑さがあれば、エージェントはその世界固有の科学を発見するという見方です。量子計算のように現実世界でしか表現できないものがあることは認めています。
8-3. Suttonの指摘への見解
Silver氏はSutton氏の論点(シミュレーションで学んだことは現実にそのまま移せない)には同意しました。そのうえで、シミュレーション内でスーパーラーナーを見つける科学を進め、見つかったアルゴリズムを現実に適用し、シミュレーションの忠実度を高めて検証してから現実に出す、という順序を示しています。
9. 安全性とペース調整:シミュレーションで加速、現実では慎重に
9-1. 言語ベースの整合性には限界がある
Silver氏は、現在のアライメントが、エージェントが使う言語や人間のデータ由来の事前知識に大きく依存していると指摘しました。エージェントが強力になるほど、事前知識を上回り、「言うことと行動が異なる」ようになる兆候が見えており、これだけでは不十分だというのが同氏の見立てです。
9-2. 「超知能の科学」
同氏は、会社として最も重要なのは「超知能の科学」を理解することだと述べました。シミュレーション内で超知能的なエージェントを作り、複数の超知能が平和的に共存し、より劣った知能とも平和的に関わる条件を明らかにする狙いです。得られた知見は公開して共有すべきだとしています。
加えて、同社が現実世界でとる行動は、この科学による十分な証拠が得られるまで次の段階に進めない、という約束を掲げていると説明しました。
9-3. 思考が英語でなくなる場合の監視
司会者は、安全研究が思考の過程を英語で監視することに頼っている点を挙げ、言語を離れたエージェントをどう監視するかを問いました。Silver氏は、言語の監視は有用だが、エージェントが強力になるほど難しくなると答えました。膨大な量の推論を出す、思考と行動を食い違わせるといった事態もあり得るためです。
言語に依存しない監視の例として、次を挙げています。
シャドウアクション:実際には実行させず、実行したらどうなるかを確認する
別の超知能による監視:行動の大きさを監視し、影響を小さく抑える役割を担わせる
同氏は、答えをすべて持っているわけではなく、この領域にはさらに研究が必要だとしています。世界の見通しには楽観的で、人類の繁栄を支える超知能が、そうでないものから人類を守る均衡が生まれると見ています。
9-4. ペース調整への見解
フロンティアAIの開発ペースを調整する議論について、Silver氏は賛成の立場です。現実世界では一定のペース調整を支持しつつ、シミュレーションではできるだけ速く進めるべきだとしました。これにより、政府、組織、人々の感情が変化に適応する時間を得られ、並行して「正しい進め方の科学」も深められるという理由です。同氏は、DemisやDarioらの提案に近い方向だと述べています。
10. チーム、文化、見通し
10-1. 少人数と高い計算資源比率
採用はこれまでに計20人です。大きな組織を急いで作る考えはなく、才能に加え、協力的な人柄、ミッションとの整合、必要なスキルを重視しています。Espeholt氏は、少人数のため1人あたりの計算資源が多く、初日から資源を奪い合わずに済む点も狙いだと説明しました。
共同創業者について、Silver氏は、4人がAlphaStarチームの出身で、残る3人は成功したスタートアップの出身だと述べました。過去に共に働いた人でも、水準に満たなければ断ってきたそうです。
10-2. 研究主導の文化
Silver氏は、製品の次のバージョンを積み上げる会社ではなく、研究者が自らの関心を追い、ブレークスルーを目指す「研究の避難所」を作ったと説明します。短期の製品圧力には抵抗し、ブレークスルーを出せば、はるかに大きな製品や成功が後から来るという考えです。
10-3. 予測
予測について、Silver氏は次のように述べました。
強い証拠:1年以内に、正しい方向にいる強い証拠が得られる
超知能の到達:自身が定義した意味での超知能は、当初は3〜5年と考えていたが、コーディングエージェントなどによる加速を踏まえ、3年と見ている
ただし、研究である以上、不確実性があることも認めています。
