Gemini Robotics の概要

以下の記事が面白かったので、簡単にまとめました。

1. Gemini Robotics - Gemini 2.0を基盤としたロボット向けモデル

「Google DeepMind」では、「Gemini」がテキスト、画像、音声、動画を横断的に理解・推論することで、複雑な問題を解決する能力を向上させてきました。しかし、これまでは主にデジタル領域に限定されていました。AIが物理世界で人々に役立つ存在となるためには、「身体化された推論」——つまり、人間のように周囲の世界を理解し、適切に反応する能力——を持つことに加え、安全に行動を実行し、タスクを達成できる必要があります。

本日 (2025年3月12日)、「Gemini 2.0」を基盤とした2つの新しいAIモデルを発表します。これらは、次世代の有用なロボットの基盤となるものです。

1つ目は「Gemini Robotics」です。これは、高度な視覚・言語・行動（VLA: Vision-Language-Action）であり、「Gemini 2.0」に「物理的な行動」を新たな出力モードとして追加することで、直接ロボットを制御できるよう設計されています。

2つ目は「Gemini Robotics-ER」で、これは空間認識能力を強化したGeminiです。これにより、ロボット研究者たちはGeminiの「身体化された推論（ER: Embodied Reasoning）」能力を活用し、自身のプログラムを実行できるようになります。

これらのモデルは、多様なロボットに対し、これまで以上に幅広い現実世界のタスクを遂行する能力をもたらします。私たちはこの取り組みの一環として、Apptronikと提携し、「Gemini 2.0」を活用した次世代のヒューマノイドロボットの開発を進めています。また、「Gemini Robotics-ER」の未来を形作るために、限られた信頼できるテスターと協力して研究を進めています。

2. Gemini Robotics - 最も高度なVLA

ロボット向けのAIモデルが人々にとって有用で役立つものとなるためには、以下の3つの主要な特性を備えている必要があります。

これまでの研究でもこれらの分野で進展を示してきましたが、「Gemini Robotics」はこの3つの軸すべてにおいて大幅に性能が向上しており、真に汎用的なロボットに一歩近づくものとなっています。

2-1. 汎用性

「Gemini Robotics」は、「Gemini」の世界理解を活用し、新しい状況に適応し、幅広いタスクを即座に解決することができます。これには、学習時に見たことのないタスクも含まれます。また、新しい物体、さまざまな指示、未知の環境にも適応する能力を備えています。

技術レポートでは、最先端のVLAと比較して、「Gemini Robotics」 が包括的な汎用性ベンチマークの平均スコアを2倍以上向上させたことを示しています。

2-2. 対話性

ロボットが私たちの動的な物理世界で機能するためには、人々や周囲の環境とスムーズに相互作用し、リアルタイムで変化に適応できる必要があります。

「Gemini Robotics」は「Gemini 2.0」を基盤としているため、直感的な対話能力を備えています。Geminiの高度な言語理解能力を活用し、日常的な会話言語や異なる言語での指示を理解し、適切に応答することができます。

従来のモデルと比べ、より幅広い自然言語の指示を理解し、それに適応した行動を取ることが可能 です。また、周囲の環境を継続的に監視し、環境や指示の変化を検知し、それに応じて行動を調整 します。このような制御能力、つまり「ステアラビリティ（steerability）」を備えていることで、家庭から職場まで、さまざまな場面でロボットアシスタントとより効果的に協働することができます。

2-3. 器用さ

有用なロボットを構築するための3つ目の重要な要素は、「器用な動作」です。

人間が何気なく行っている日常の作業の多くは、実は非常に精密な運動スキルを必要とし、ロボットにとっては依然として困難な課題となっています。しかし、「Gemini Robotics」は、折り紙を折る、スナックをジップロック袋に詰めるといった、精密な操作を必要とする高度で複雑なマルチステップのタスク にも対応できます。

2-4. 多様な形態への適応

最後に、ロボットにはさまざまな形状やサイズがあるため、「Gemini Robotics」は異なる種類のロボットにも容易に適応できるよう設計されています。

このモデルは主に両腕ロボットプラットフォーム「ALOHA 2」 のデータを用いて学習しましたが、多くの研究機関で使用されている「Franka」アームを搭載した両腕プラットフォームの制御 も可能であることが実証されています。

さらに、Apptronik社が開発したヒューマノイドロボット「Apollo」 のような、より複雑なロボット形態にも適応でき、現実世界のタスクを遂行することを目指しています。

3. Gemini Rototics-ER - 世界理解を強化

「Gemini Robotics」に加えて、私たちは高度な視覚・言語モデル「Gemini Robotics-ER」（Embodied Reasoningの略） を発表します。このモデルは、ロボット技術に必要な形でGeminiの世界理解を強化し、特に空間推論（spatial reasoning）に重点を置いています。また、ロボット研究者がこのモデルを既存の低レベルコントローラと接続できるよう設計されています。

「Gemini Robotics-ER」は、「Gemini 2.0」の既存の能力である指さし（pointing）や3D検出（3D detection）を大幅に向上させています。空間推論と「Gemini」のコーディング能力を組み合わせることで、状況に応じた新しい能力を即座に発揮することができます。例えば、コーヒーマグカップを見せると、適切な二本指のグリップで取っ手をつかむ方法や、安全な軌道を直感的に判断できます。

「Gemini Robotics-ER」は、ロボットの制御に必要なすべてのステップ（認識、状態推定、空間理解、計画、コード生成）を即座に実行できます。このエンドツーエンドの環境において、「Gemini 2.0」と比較して2倍から3倍の成功率を達成しています。

また、コード生成だけでは不十分な場合でも、「Gemini Robotics-ER」はインコンテキスト学習（in-context learning）を活用し、人間のデモンストレーションのパターンを数例見るだけで、適切な解決策を導き出すことが可能です。

4. AIとロボット工学の責任ある発展

AIとロボット工学の可能性をさらに探求するにあたり、安全性に対する包括的かつ多層的なアプローチを採用しています。これには、低レベルのモーター制御から高レベルのセマンティック（意味理解）までが含まれます。

ロボットの物理的な安全性と、その周囲にいる人々の安全性は、ロボット科学における長年の根本的な課題です。そのため、ロボット研究者たちは従来から、衝突回避、接触力の制限、移動ロボットの動的安定性の確保といった安全対策を講じてきました。「Gemini Robotics-ER」は、各ロボットの形態に特化した「低レベル」の安全クリティカルなコントローラと統合することが可能です。さらに、Geminiのコア安全機能を基盤に、特定の状況で行動が安全かどうかを判断し、適切な対応を生成できるよう設計されています。

また、学術界や産業界におけるロボット安全研究の発展を促進するため、具象化AI（Embodied AI）およびロボット工学におけるセマンティック・セーフティ（意味的安全性）を評価・改善するための新しいデータセットを公開します。

過去の研究では、アイザック・アシモフの「ロボット三原則」から着想を得た「ロボット憲法（Robot Constitution）」が、大規模言語モデル（LLM）により安全なタスクを選択させるのに有効であることを示しました。その後、データ駆動型のロボット憲法を自動生成するフレームワークを開発しました。これは、自然言語で直接表現されたルールを用いることで、ロボットの行動を制御する仕組みです。このフレームワークを活用すれば、人々はロボットのルールを作成・変更・適用し、安全性が高く、人間の価値観により適合したロボットを開発できるようになります。さらに、新たに公開する「ASIMOVデータセット」*は、ロボットの行動が現実世界において安全性にどのような影響を及ぼすかを厳密に測定するためのツールとなります。

加えて、社会への影響を評価するため、責任ある開発とイノベーションチーム、および「責任と安全性委員会（Responsibility and Safety Council）」と協力し、AIアプリケーションの開発が倫理的かつ適切に行われるよう取り組んでいます。また、ロボットAIの特有の課題や可能性について、外部の専門家とも協議しています。

さらに、Apptronikとの提携に加え、「Gemini Robotics-ER」は、信頼できるテスターである Agile Robots、Agility Robots、Boston Dynamics、Enchanted Tools に提供されます。これらのモデルの可能性を探求し続け、次世代のより有用なロボットのためのAI開発を進めていくことを楽しみにしています。