Genie 4が加えたもの:音声、リアルタイム操作、Geminiとの連携 ― 開発陣が語る「世界モデル」の現在地
Google DeepMindは、2026年10月27日(米国時間)、世界モデル「Genie 4」を研究プレビューとして発表しました。テキストや画像から、探索できる3D世界をリアルタイムに生成するモデルです。公式ページは、これを「最も写実的で、最も対話的な世界モデル」と位置づけています。
同日、Googleの「Release Notes」では、開発チームの3人が約47分間、デモを交えて内容を説明しました。出演したのは、Raia Hadsell氏(DeepMindの研究を率いる立場)、Diego Rivas氏、Hang Qi氏で、聞き手はLogan Kilpatrick氏です。
この記事では、番組の発言を中心に、公式ページとTechCrunchの報道を合わせて整理します。なお、本稿の数字や機能は、発表資料と開発者の発言に基づいており、第三者による検証は行われていません。
1. Genie 4の位置づけ
1-1. 世界モデルとは何か
Hadsell氏は、世界モデルを言語モデルと対比して説明しました。Geminiのような言語モデルは、知識と言語を扱う「考えるモデル」ですが、世界モデルは、現実に根ざした環境を理解するためのものです。内部に「世界の状態」を持ち、物がぶつかる、動く、行動によって状況が変わるといった変化を予測します。
見たことがない、空想的な世界でも、その環境の物理が取り得る動きを予測する点が重要だと述べています。
1-2. Genie 1からGenie 4まで
同氏は、開発の流れを次のように振り返りました。
Genie 1:2Dのプラットフォーマーゲームで学習し、左右への移動とジャンプを生成できることを示した研究プロジェクト。「実現するとは正直思っていなかった」という。
Genie 2:1年後に3D環境へ拡張。まだゲームらしい見た目で、リアルタイムではなかった。
Genie 3:今年(2026年)1月にリリース。写実性が向上し、リアルタイムかつ対話的になり、同氏は「成功を宣言し始めた」と述べた。
Genie 4:今回の新モデル。Genie 3が「研究の転換点」だったのに対し、Genie 4は「実用性の面で一歩前進したが、まだ研究段階」と位置づけた。
DeepMindが、世界モデルに取り組む動機は、もともと「エージェントを鍛えるために、豊かなシミュレーション環境を無限に作りたい」という点にあったと、同氏は説明しています。
2. Genie 4の新機能
2-1. 音声の生成
最大の新機能は、音声です。Genie 3では、映像だけを生成していました。Genie 4は、映像と音声を同じモデルが同時に予測します。
Hang Qi氏は、実世界の動画は本来マルチモーダルであり、映像と音声が常に同期していると説明しました。Veoで音声が加わったときのように、「なかったことに気づいていなかったもの」だと、Rivas氏も述べています。
音声には、環境音や音楽に加え、人物との会話も含まれます。公式ページは、「葉を踏む音、群衆の歓声、キャラクターが話しかけてくる」といった例を挙げています。
2-2. 写実性の向上
Rivas氏は、Genie 3の同じ場面と並べて、Genie 4のデモを見せました。Genie 3はゲーム風の見た目で人物の描写が簡素でしたが、Genie 4では、人物の細部や手の動きが大幅に精密になりました。
この写実性は、新しい基盤モデル「Gemini Omni」(番組では「Omni Flash」とも)の上に作られていることが、大きいと説明されています。公式ページも、Omniが実世界の見た目と振る舞いの基盤を提供し、ほかのGeminiモデルが推論で一貫性を保つと書いています。
2-3. フリーフォームな操作
Rivas氏は、操作の方式が変わったと述べました。Genie 3は「三人称のキャラクターを動かす」ことが中心でしたが、今回は2つの方式に注力しています。
一人称視点(エゴセントリック):キーボードとマウスで世界を操作する
カメラ制御:カメラを自由に動かす
さらに、プレイ中にテキストで、天気を変える、新しい人物を足す、カメラを動かすといった指示を出せます。同氏は、これを「探索からシミュレーションへの移行」と表現しました。
テキストの入力方法は、まだ試行錯誤の段階です。ストリームが流れている間は入力が難しいため、研究用デモには一時停止機能があるものの、製品として提供するかは未定とのことです。
2-4. 人物との対話
デモでは、一人称視点でコーヒーを淹れる場面や、レストランの厨房で料理人に「何を作っているのか」と尋ねる場面が披露されました。料理人は、サーモンのハーブとニンニクのソテーだと答えています。スプリンクラーを作動させる実演もありました。
Rivas氏は、対話は研究が活発な領域で、完成度にはまだ課題があると述べています。すべてがリアルタイムで進むため、会話の破綻や世界の文脈とのずれなどが起こり得るという説明です。
3. Geminiが「司令塔」になる仕組み
3-1. Geminiがループの中に入る
Genie 4の特徴は、Geminiが世界モデルの内部で働く点です。Qi氏によると、対話の応答は、Genie 4単独ではなく、背後のGeminiが決めています。
Rivas氏の説明では、Geminiは「前のフレームで何が起きたか」「利用者が何をしたかったか」「次に何が起きるべきか」を考える、もう1つの知能の層です。デモでは、リアルタイム性を優先して「Vanilla 3.8 Flash」を使っていました。
TechCrunchは、Geminiを「Genieが映像を作る間に、計画を立て、フレームを確認する監督」と表現しています。
3-2. 言語モデルと世界モデルの組み合わせ
TechCrunchによると、GoogleのTejas Kulkarni氏(リサーチ・ディレクター)は、発表前のブリーフィングで、今後は「Geminiがコードとテキストを書き、Genieがそれをリアルタイムに取り込んで、さまざまな抽象度で現実をシミュレートする」ハイブリッドな世界モデルが増えると述べました。
Hadsell氏も番組で、コードで生成した構造と、ピクセルで生成した世界の組み合わせに触れています。コードを裏側の土台にすれば、丘を歩き回って戻っても、家が同じ状態で残るような一貫性を保てます。一方で、世界モデルの魅力は、ドラゴンが飛んできたり、全体が水彩画に変わったりする表現の自由度にあり、その両立が課題だという説明です。
4. 応用領域:ロボティクス、教育、映像制作
4-1. ロボティクス
Hadsell氏は、人間は頭の中に世界モデルを持ち、少し先を予測しながら動いていると述べ、ロボットにも同様の予測が必要だと説明しました。当初は、学習データの生成が主な用途でしたが、今後は、世界モデルが予測したうえでロボットの動作を直接生み出せる可能性があるそうです。ただし、研究は「やってみないと分からない」段階だと断っています。
公式ページの例では、「Gemini 4 Argon」がタスクを詳細な多段階の計画に分解し、その手順をテキスト字幕としてGenie 4に送ります。Genie 4は、字幕に沿ってシミュレーションを描画します。番組では、スクラブルの文字を並べる課題が紹介されました。
Rivas氏は、これを「Argonが指示を出し、Genieが行動とピクセルを生成する」と例えています。ロボットを実際に動かす実験は準備に時間がかかるため、シミュレーションで大量の変種を作れる点を利点に挙げました。
4-2. 教育と映像制作
Qi氏は、Geminiの世界知識と推論を組み合わせれば、教育向けの用途にも広がると述べました。TechCrunchは、歴史的な場面の絵の中に入って登場人物と話す、という例を挙げています。
映像制作については、Rivas氏が、構想や絵コンテの段階で、荒い入力から素早く試行錯誤できる点を指摘しました。信頼できるテスターが、映画のプロトタイピングという用途に注目しているとのことです。
5. 速度、持続時間、評価の難しさ
5-1. 「24FPS」とレイテンシ
Kilpatrick氏が、「全TPUを1人に割り当てれば、60FPSで動くのか」と尋ねたところ、Qi氏は「試したことがない。分からない」と答えました。現状は、24FPS前後を目標にしています。
理由は、再生の滑らかさ(FPS)と、操作の反応(入力レイテンシ)が別の要素だからです。24という値は、外部からの入力を取り込み、生成を中断して、次の窓のフレームを遅延なく返せる境界でもあると説明されました。
また、モデルがリアルタイムで動いた時点で、構成の多くの工夫が必要で、スケールすれば解決するという単純な話ではないとも述べています。Hadsell氏は、新機能を足しながら小さく効率的なモデルを保つことが課題だと語りました。
5-2. 持続時間と限界
TechCrunchは、Genie 4が一貫したシーンを最大2分維持でき、Genie 3の倍だと報じています。公式ページは「数分の連続した操作に対応」としており、数字の表現が異なります。
公式ページが挙げる限界は次のとおりです。
時間が経つと、細部や物体の位置関係がずれる
複数のエージェントとの複雑な相互作用のモデル化は研究課題
実在の場所を正確に再現できない
文字は、入力の説明にある場合にのみ明瞭に出ることが多い
リアルタイム音声の正確さは改善中
5-3. 評価(eval)の難しさ
Qi氏は、世界モデルの評価基準は「決して完成しない」と述べました。開発が進むたびに新しい課題が見つかるためです。Hadsell氏は、同じ時期に発表されたゲームをプレイするエージェント「SIMA」で、Genieの世界を自動的に評価させたいと語っています。
6. 安全性と提供形態
6-1. SynthIDとリアルタイムの安全対策
公式ページによると、Genie 4が生成する映像と音声には、すべて電子透かし「SynthID」が入ります。Rivas氏は、「写実性とリアルタイムが出会ったときに何が起こるか」は未知の領域だと述べ、遅延を損なわずに、安全フィルターを走らせる仕組みを作っていると説明しました。
Hadsell氏は、モデルの使われ方は、一般の人と、映像制作者、教育者などで異なると指摘しました。たとえば、教育者が戦場の場面を作ることには、正当な理由があります。最初の公開で、信頼できるテスターから始めるのは、そうした事例を段階的に把握するためでもあります。
Qi氏は、Geminiの層が、シーンを監視し、望ましくない方向から誘導してそらすことにも使えると述べました。
6-2. 提供のスケジュール
公式ページとTechCrunchによると、現在は信頼できるテスター向けの研究プレビューです。今後数週間のうちに、次の形で広がる予定です。
「Project Genie」(Google AI Ultra加入者向け)
Gemini APIとGoogle AI Studioの早期アクセスパートナー
料金や提供地域は、今回の資料では明らかになっていません。
7. 競合環境:世界モデルは再編期へ
TechCrunchは、Genie 4が競争の激しい分野に登場したと伝えています。
数カ月前、AI動画スタートアップのRunwayが2つ目の世界モデル「GWM Worlds 2」を公開した
Fei-Fei Li氏のWorld Labsは、AMDに買収される
Amazonは、Decartの買収を協議していると報じられている
Rivianは、自動運転のテスト用に、世界モデルの新興企業Third Dimensionを買収した
業界は、統合の段階に入りつつあるというのが同誌の見立てです。買収の詳細(金額や条件)は、同誌の記載から個別に確認する必要があります。
