World Labs、新モデル「Atlas」発表 ― 3カメラだけで『マトリックス』のバレットタイム撮影を再現
空間知能(スパーシャル・インテリジェンス)スタートアップWorld Labsが、新しい次世代「世界モデル」Atlasを発表した。開発チームの中心メンバーが登場するインタビューでは、Atlasが、LLMの「次トークン予測」やビデオモデルの「次フレーム予測」に続く新たな基盤原理「次ビュー予測」を採用していることが明かされている。3台のカメラだけで映画的な撮影効果を再現する技術や、ロボティクスへの応用可能性など、創業からわずか2年半で到達した成果の詳細を整理する。
1. Atlasとは何か ― 生成・再構成・シミュレーションを1つに
Atlasは、世界を「生成」「再構成」「シミュレーション」する3つの基本機能を持つ次世代世界モデルだとされる。
1-1. カメラ条件付き生成とスパース3D再構成
開発チームによれば、Atlasは、画像とカメラの軌道を入力することで、任意の視点からの映像フレームを生成できる「カメラ条件付き生成」に優れているという。また、実世界の複数視点(最大100フレーム)を入力として、その空間を再構成する「スパース3D再構成」も可能で、これは映像として空間を飛び回るような形でも、明示的な3D再構成としても出力できるとしている。
1-2. 『マトリックス』のバレットタイムをわずか3台のカメラで再現
Atlasの目玉機能の一つが、シミュレーションによる「バレットタイム」映像だ。開発陣は、映画『マトリックス』でネオが落下するシーンで使われた、数百台のカメラをリング状に配置しグリーンスクリーンで撮影する手法を例に挙げ、Atlasを使えばわずか3台のカメラ(スマートフォン3台を三脚に固定する程度)だけで同様の効果を再現できると説明した。撮影スタジオもグリーンスクリーンも高価なキャリブレーションも不要になるとしている。
2. 核となる原理 ― 「次ビュー予測」
開発チームのJustin氏は、Atlasの最も根本的な原理を「次ビュー予測(new view prediction)」と表現した。
2-1. LLMの次トークン予測、ビデオモデルの次フレーム予測に続く新原理
同氏は、LLMが次トークン予測、ビデオモデルが次フレーム予測を基盤としてきたのに対し、Atlasはシーンの複数視点や説明を「空間コンテキスト」として取り込み、任意の空間・時間における仮想カメラの視点から見た世界を理解・生成する、全く新しい基盤原理に基づいていると説明した。
2-2. すべてのフレームに紐づく3Dカメラポーズ
共同創業者のBen Mildenhall氏(NeRFの発明者としても知られる)は、既存の多くのビデオモデルが単一画像入力やフレーム間補間から出発しているのに対し、Atlasでは、入力するすべての画像に3次元のカメラポーズが関連付けられている点が決定的な違いだと強調した。これにより、部屋の四隅からの4枚の画像を入力すれば、それ以外の部分を推測することなく、正確にその部屋を再現できるという。
3. 新しいアーキテクチャ ― 生成と再構成の統合
3-1. 半世紀続くコンピュータビジョン分野の分断を統合
共同創業者でCEOのFei-Fei Li氏は、Atlasが、「ピクセル生成」と「ピクセル再構成」という、コンピュータビジョン分野で半世紀以上分断されてきた2つの領域を初めて統合したモデルだと述べた。同氏は、これまで無数の博士論文がこの再構成・新規ビュー合成という問題に費やされてきたが、Atlasは視点(ビューポイント)の推定を軸に、この2つの問題を統一的に解決していると説明している。
3-2. テキスト・画像・動画・3Dカメラのネイティブなマルチモーダル性
Justin氏によれば、Atlasは、事前学習の段階からテキスト・画像・動画に加え、カメラポーズと深度マップという3D情報をネイティブな入力モダリティとして扱う設計になっているという。これは事前学習段階でこの種のマルチモーダル性を実現した初めての例だとしている。
4. 前モデル「Marble」からの転換
4-1. ガウシアン・スプラットのボトルネック
同社は、昨年、最初の主力世界モデル「Marble」を発表していた。Marbleは、ガウシアンスプラットというレンダリングしやすいフォーマットへの出力に特化していたが、これが出力表現のボトルネックになっていたと開発陣は振り返る。Atlasでは、この制約を取り払い、「次ビュー予測」という基本原理からRGBフレームや3D情報を生成し、必要に応じてガウシアンスプラットの世界も生成できる柔軟な設計にしたという。
4-2. スケーリング則への確信と2年半の開発期間
Ben氏は、複数視点から3Dを再構成するアプローチが正しいという確信を、これまでのキャリアで培った「密な再構成」の力を目の当たりにしてきた経験から得ていたと説明。開発チームは、モデルを大きくし、学習時間を延ばすたびに性能が著しく向上する様子を確認しながら、段階的にスケーリングの梯子を登ってきたという。
5. 「密」対「疎」― 50〜100倍の再構成コスト削減
5-1. 「密な再構成」の労力
Ben氏は、従来の密な3D再構成が、対象となる空間のあらゆる部分について最低3〜4枚の視点を必要とする非常に労力のかかる作業だったと説明。訓練された人間でも数分、一般消費者では1時間、複数部屋の環境では2時間かかることもあったという。
5-2. 撮影枚数を「3〜25枚」まで削減
Atlasでは、この密な再構成に必要な撮影枚数を50〜100倍削減できるという。開発チームはスタンフォード大学のキャンパスの中庭を、地上から撮影した3〜25枚の写真だけから、上空視点を含めて再構成するデモを紹介した。同氏は、この生成と再構成の相互作用こそが、従来数百枚必要だった撮影を、たとえ世界最高クラスの専門家が撮影しても必ず生じる「見えない部分」を生成的に補完することで克服する鍵だと説明している。
5-3. LLMの「コンテキスト戦争」との類似
Justin氏は、LLM分野で数年前にコンテキストウィンドウの拡大競争が起きたのと同様に、再構成もまた「非常に長いコンテキストを持つ生成」だと捉えられると指摘。Marbleでは数枚の画像しか扱えなかったのに対し、Atlasでは64枚の画像から住宅全体を飛び回るような映像を生成でき、2000枚の撮影から30〜40枚に絞り込んでも同等のクオリティを再現できるとしている。
6. ロボティクスへの応用 ― 「リアル・トゥ・シム」の高速化
6-1. Scenix買収と「リアル・トゥ・シム、シム・トゥ・リアル」
同社が買収したロボティクス企業(旧Scenix)は、「リアル・トゥ・シム、シム・トゥ・リアル」と呼ばれる技術を持っていたという。Fei-Fei Li氏は、ロボットアームに配線作業などを学習させる際、まず環境を再構成してロボティクスのポリシーを訓練・評価する必要があるが、この密な再構成のプロセスが極めて労力がかかり、リアル・トゥ・シムのサイクル速度を大きく制限してきたと説明した。
6-2. ロボティクス最大の課題は「データ」
同氏は、ロボティクス分野における現在最大の課題がチップではなくデータであると強調。実世界でロボットが動作するデータの収集自体が困難な上、収集した環境の条件を「ランダム化」して多様なバリエーションを作る必要があり、この「リアル・トゥ・シム」のステップをAtlasが大きく支援できるとしている。
6-3. ロボティクスポリシー特有の難しさ
開発チームのJustin氏は、画像や動画、コードベースといった従来のAI生成タスクと異なり、ロボティクスのポリシーは実世界で行動し目標を達成しようとする「エージェント」であり、訓練中にあらゆる想定外の事態にさらされる必要がある点が本質的に異なると指摘。この点で、データ駆動型の「ニューラル・シミュレーター」としてのAtlasの役割が今後重要になるとの見方を示した。
7. ダイナミクスへの拡張 ― 「ベイビー・ダイナミクス」はすでに存在
7-1. 前モデルは「本質的に静的」だった
開発チームは、専門家からのフィードバックとして「もっとダイナミクス(動き)が必要だ」という声が寄せられたことを明かした。前モデルのMarbleはアーキテクチャ自体が本質的に静的だったのに対し、Atlasはすでにアーキテクチャ・学習データの両面でダイナミクスに対応しており、公開された映像にも波や走行中の車といった動きが含まれているという。
7-2. 静的な出力にも動的なデータが必要という逆説
Ben氏は、最終的に静的な出力を得たい場合でも、モデルを可能な限り多くの動的データにさらし、モデル自身に静的要素と動的要素を切り分けさせる方が有効だと説明。Atlasの事前学習にはすでに大量のダイナミクスが含まれており、今回のリリース向けの事後学習では空間的な動きにより重点を置いたが、今後さらに強化していく方針だという。
8. 「編集可能性」という次のフロンティア
開発チームは、今後の焦点として「マルチモーダルな制御」、特に「編集可能性(editability)」を挙げた。単一画像モデルや一部の動画モデルではすでに実現されつつある柔軟な編集操作を、世界モデルの領域でも品質を犠牲にすることなく実現することが今後の課題だとしている。
9. 「次ビュー予測」は次トークン予測と同じく「AI完全」
対談の最後には、「AI完全性(AI completeness)」という概念について議論された。LLMにおける次トークン予測が、あらゆる知能タスクに還元できるという意味で「AI完全」だとされるのと同様に、Fei-Fei Li氏は、Atlasが体現する生成的な「次ビュー予測」もまた本質的にAI完全な原理だと説明。動物が視覚を通じて新しい視点を得ることで進化的に知能を発達させてきたのと同じ論理で、次ビュー予測は次トークン予測に匹敵する基盤原理だとの見方を示した。
オススメ記事
