Physical Intelligence創業者Chelsea Finn氏、汎用ロボット「PIO7」を発表 ― 専門特化モデルを上回る性能を実証
物理AI(Physical AI)スタートアップ、Physical Intelligenceの創業者Chelsea Finn氏が、汎用ロボットの実現に向けた最新の研究成果を講演で公開した。同社は2年前の創業以来、あらゆるロボットにあらゆる作業をこなさせることを目標に掲げてきた。今回の講演では、単に「面白いデモ」を並べるのではなく、ロボットが実世界で実際に役立つために何が必要かという、より実践的な論点に焦点が当てられている。本稿ではその内容を、信頼性・記憶・汎用モデルという3つの軸に沿って整理する。
1. 物理AIの現在地
1-1. Physical Intelligenceとは
Finn氏は、2年前にPhysical Intelligenceを設立し、あらゆるロボットがあらゆる実世界タスクをこなせるようにすることを目指してきた。この1年間で、油汚れのついたフライパンを洗う、ニンジンの皮をむく、グリルチーズサンドイッチを作る、ズッキーニをスライスするといった作業をロボットにこなさせることに成功しているという。
1-2. 汎用AIと物理AIの違い ― 完全自律であることの重み
Finn氏は、これまでの機械学習の実世界応用の歴史を振り返った。最初期の応用例は商品レコメンドや広告のランキングであり、そこから5年後にはディープラーニングが同様の用途に使われ始めた。2022年のChatGPT登場は、汎用モデルが真の意味で多くの人々に使われた最初の事例であり、リリースからわずか5日で100万ユーザーに到達したという。その後、Claude Codeのようなコーディングエージェントも同様に広く実用化されている。
もっとも、Finn氏は、ここで重要な違いを指摘した。従来のレコメンドや対話型AIといった応用例では、最終的な意思決定を下すのは常に人間である。そのためモデルが多少の誤りを犯しても、利用者がそれを察知して対応できる余地がある。しかし、物理AI・ロボティクスの場合、システムは物理世界に直接影響を与える意思決定を下さなければならず、完全自律で動作して初めて真に有用となる。これは、これまでデプロイされてきた機械学習システムよりもはるかに誤り率の低いシステムを開発する必要があることを意味する。
2. 信頼性というボトルネック
2-1. エスプレッソ抽出を例に
Finn氏は、汎用ロボットを実現するうえで「長期的な自律性」をどう実現するかを、エスプレッソ抽出という具体例に沿って説明した。ポルタフィルターの操作には非常に精密で力強い制御が必要であり、液体の入ったカップを滑らかに扱いながらこぼさないようにする必要もある。さらに抽出時間の正確な感覚も求められ、これは機械学習の他の応用分野ではあまり問題にならない要素だという。しかも、この難しいタスクを90%を超える信頼性でこなす必要がある。
通常の機械学習開発では、データセットを集め、モデルを訓練し、評価するというプロセスを繰り返す。しかし、この反復を人手で行っていては、担当者が疲弊してしまい、非常に高い信頼性に到達するのは難しい。そこでFinn氏が提案するのは、AIシステム自身がタスクを繰り返し試行し、自らの失敗から学んで改善していく仕組み、すなわち強化学習的なアプローチである。
2-2. Waymoの実績が示す可能性
Finn氏は、機械学習ベースのシステムが物理世界で信頼性を持って自律動作しうることを示す好例として、Waymoが1年前に週間25万回の自動運転乗車を達成したことを挙げた。この実績は、ロボティクス分野全体にとっても大きな希望と楽観をもたらすものだと同氏は述べている。
3. ロボットのための強化学習
3-1. 言語モデルのRLをそのまま使えない理由
言語モデルの分野では、PPOやGRPOといった強化学習アルゴリズムが大規模言語モデルに適用され、複雑な推論を可能にしてきた。しかしこれをロボティクスにそのまま応用するのは難しい。これらのアルゴリズムは、データセンター内で言語モデルを実行するだけで済むため、数百万から数千万回という試行回数によってスケールしてきた。仮にこれをロボティクスに単純に置き換え、1分間のロボットタスクについて100万回の試行データを集めようとすると、ロボット700日分という計算になる。これはエスプレッソ抽出タスクよりも短いタスクでの試算であり、いかにこの単純なスケーリングが物理世界では現実的でないかを示している。
3-2. 効率化の2つの工夫
Finn氏は、この課題を解決するための2つの工夫を紹介した。
1つ目は、行き止まりの試行(デッドエンド・トラジェクトリ)に時間を浪費しないようにすることだ。例として、段ボール箱の組み立てタスクで、ロボットが誤って2つの箱を一緒につかんでしまった場合、そのまま続けさせても有用なデータは得られない。そこで人間がテレオペレーション(遠隔操作)で介入し、そこからの復帰方法をロボットに示すことで、無駄な試行時間を減らす。
2つ目は、PPOやGRPOのようなアルゴリズムが、1つのプロンプトに対して10〜50回もの試行を重ねて良し悪しを推定している非効率を解消することだ。Physical Intelligenceのアプローチでは、この推定コストを個々のプロンプトに集中させるのではなく、多数の異なるプロンプトにまたがって「汎用の価値関数」を学習させる。この価値関数は、シャツをたたむ際に誤って開いてしまうといった「後退」や、逆に順調に進んでいる状態を、異なるタスク(例えば冷蔵庫からの物品取り出し)にも共通して認識できるようになるという。
4. 実証:ラテ作りロボットは13時間動き続けられるか
4-1. ラテ作りタスク
これら2つの改良を組み込んだ強化学習アルゴリズムを使い、Finn氏のチームは、人間と協働してラテを作るタスクにロボットを取り組ませた。ロボットがエスプレッソ抽出を担当し、人間がミルクスチームを担当する分担だ。ロボットはポルタフィルターの挿入、抽出の適切な待ち時間、スチームミルクの注入をこなし、最も難しいのは満杯のラテカップをこぼさずコースターまで運ぶ最終工程だという。
4-2. チョコレート工場・洗濯物たたみへの応用
この信頼性を検証するため、チームはこの方策(ポリシー)を1回だけでなく、13時間連続で稼働させる実験を行った。結果として、ロボットは長時間にわたりミスを頻発させることなく、実用に足る信頼性を示したという。
同じアルゴリズムはラテ作り以外にも応用されている。オフィスから数ブロック先にあるDandelion Chocolate工場の実際のワークフローを再現し、段ボール箱の組み立て・ラベル貼り・積み上げを人間の代わりにこなすよう訓練した結果、この作業を大幅に高い信頼性でこなせるようになった。また、これまで見たことのない衣類を、初めて訪れる住宅の中で、長時間にわたり完全自律でたたませる実験にも成功している。
4-3. 定量評価:スループット2倍、成功率90%超
映像だけでは信頼性を十分に伝えられないため、チームは定量的な評価も行った。事前学習からSFT(教師ありファインチューニング)段階、そしてRLによる事後学習段階へと進むにつれ、成功率とスループット(1時間あたりに処理できる箱の数)が大きく向上し、特にRL段階だけでスループットが約2倍になったという。エスプレッソ抽出タスクに限っては、成功率90%以上を達成した。
5. ロボットにメモリが必要な理由
5-1. なぜ多くのモデルには記憶がないのか
Finn氏は、長期的な自律性を実現するもう一つの重要な要素として「記憶」を挙げた。意外に思われるかもしれないが、現在最先端とされるロボット向け基盤モデルの多くは、記憶や文脈を一切持たず、現在のセンサー情報とカメラ映像のみをもとに行動を予測しているという。短時間の運動スキルや反復作業であれば記憶なしでも対応できるが、複数の手順を順番にこなす長時間タスクでは、これまで完了した工程を追跡するために記憶が不可欠になる。
記憶を組み込むことが技術的に難しい理由の一つとして、Finn氏は、素朴に動画をそのまま文脈として入力する場合のコストを説明した。仮に50Hzでサンプリングした10秒間の動画を、ロボットの4台のカメラすべてから、画像1枚あたり約256トークンで入力すると、合計で約50万トークンをモデルに投入することになる。これをリアルタイムで処理するのは現時点では非常に困難で、1秒に1フレームまで間引いたとしても、わずか10秒分の記憶のために1万トークンが必要になり、現状のモデルにとっては法外なコストになるという。
5-2. マルチタイムスケールの記憶設計
そこでチームは、複数の時間スケールにまたがる記憶の仕組みを開発した。1つは約10秒間の映像を保持する短期記憶で、素朴に動画全体を入力するよりもはるかに効率的に計算される。もう1つは、数分から数時間に及ぶより長期の記憶で、こちらは過去の映像そのものではなく、何が起きたかをテキストで要約した、はるかに圧縮された形でモデルに組み込まれる。
5-3. 15分間のキッチン清掃タスク
こうした複数時間スケールの記憶を組み込むことで、ロボットは10〜15分にわたり完全自律で動作するタスクをこなせるようになった。具体的には、キッチンの清掃タスクだ。カウンターをスポンジで拭き、ペーパータオルで乾かして捨て、マスタードを冷蔵庫にしまい、食器を棚に片付け、シンクで汚れた食器を洗うといった、単純な反復作業ではない一連の工程を、記憶によって進捗を追跡しながらこなす様子が示された。
6. 汎用ロボットモデルの構築
6-1. 汎用AIの歴史からロボティクスの現在地を見る
長期的な自律性を実現する要素を踏まえ、Finn氏はそれらを単一の汎用モデルにまとめる取り組みについて説明した。同氏はまず、過去15年間の汎用AIの発展を振り返った。2012年、ディープラーニングがゼロから学習されたシステムとして初めて外部ベンチマーク(ImageNet)で従来の専門特化型手法を上回った。その数年後には、ImageNetなどで事前学習したモデル(BERTなど)を下流タスクにファインチューニングする手法が主流となった。さらにGPT-2のような、ファインチューニングなしにそのまま使える汎用モデルの時代が訪れ、2021年にはDALL-Eによって「構成的汎化」の兆しが初めて見られるようになった。
一方で、ロボティクスは、わずか3年前の2023年時点でも、個々のプロジェクトごとにゼロからデータセットを収集し、ゼロから学習するのが一般的だった。これは画像認識で例えるなら、ImageNetを毎回ゼロから収集し直すようなものであり、この状態では大きな進歩は見込めない。
6-2. データレシピ:多様性とディテールドプロンプティング
そこでFinn氏らが目指したのは、(1)ファインチューニングなしでそのまま使える汎用モデルと、(2)構成的汎化を示すモデルという2つの目標だった。手法としては、まず十分に大規模で多様なデータセットを用意し、次に十分な容量を持つモデルを訓練するという、実績のあるレシピを踏襲した。
データには、質の低いものも含む多様なロボットの実演データ、方策のロールアウトデータ(ロボット自身の試行データ)、人間の動作映像、さらにはウェブ由来のデータまで、利用可能なあらゆるデータが含まれる。これほど異質なデータに適合させるためには、モデルに行動を予測させる際に必要なすべての文脈を、詳細なプロンプトとして与えることが重要な鍵になったという。具体的には、前述の記憶、実行すべき指示、次に取るべき直近のサブタスクの指示、データの質やエピソードの長さを示すメタデータ、さらに任意で数秒後に目指すべき状態を示す「サブゴール画像」までをモデルへの入力として与える設計だ。
6-3. PIO7モデルの成果
これらの多様なデータで単一モデルとして訓練された成果が「PIO7」モデルだ。デモ映像では、襟付きシャツをたたむ作業、ロボットアームへのねじの挿入と締め付けという精密な組み立て作業、ゴミ箱の袋を交換する作業など、いずれも同一モデルによってこなされている。
さらに重要なのは、このPIO7モデルが、コーヒー抽出や箱組み立てなど個別タスクに特化してRL事後学習された専門特化モデル(PIO6)と比較して、スループット・成功率のいずれにおいても同等かそれを上回る性能を示した点だ。この傾向はRL事後学習モデルだけでなく、SFTによる専門特化モデルとの比較でも確認されている。
7. 構成的汎化の実証
7-1. エアフライヤーへの対応
Finn氏のチームは、モデルの「構成的汎化」能力を検証するための実験も行った。1つ目は、比較的珍しい家電であるエアフライヤーを対象に、開ける・サツマイモを入れる・閉めるという一連の動作をロボットにこなさせる実験だ。データセットには意図的にエアフライヤーのデータを含めていなかったが、事後の分析では、実際には3エピソードだけ偶然含まれていたことが判明した。もっとも、これらの限られたデータの影響は小さく、たとえ含まれていなくても同様の結果になった可能性が高いという。学習データにほとんど登場しない家電であっても、ロボットは「開ける」「閉める」といったスキルを、初めて見る対象物と組み合わせてこなすことができた。
7-2. 未知のロボットプラットフォームへの転移
2つ目の実験は、タスクとロボットプラットフォームをまたいだ構成的汎化だ。「バーム(barm)」と呼ばれる大型の産業用ロボットプラットフォームに、洗濯物たたみのデータを一切収集していない状態で、たたみ動作をこなせるかを検証した。学習データにあったのは別のロボットプラットフォームでのシャツたたみのデータのみだったが、ロボットは初めての試行ながら、最終的にシャツをたたむことに成功した。Finn氏は、このロボットが単にサイズが異なるだけでなく、リンク機構の長さや関節の構成も大きく異なるものだったにもかかわらず結果が出たことに、チーム自身も驚いたと振り返っている。
7-3. アブレーション実験が示すデータ多様性の重要性
最後にFinn氏は、この成果に寄与した2つの要素、すなわちデータの多様性と、メタデータを含む詳細なプロンプティングの重要性を検証したアブレーション実験を紹介した。最も多様なデータをモデル学習から除外すると、未見タスクでの性能は大きく低下する一方、多様性の低いランダムな20%のデータを除外しても性能の低下はわずかだった。これはデータの多様性が汎化能力にとって重要な役割を果たしていることを示している。また、メタデータによるプロンプティングがある場合、質の低いデータを追加するほど性能が向上する一方、メタデータによるプロンプティングがない場合は、質の低いデータの追加(80%から100%へ)によってむしろ性能が低下することも確認された。
8. 実世界への展開
Finn氏は、この単一モデルがすでに実世界のデプロイにも活用されていることを紹介した。YCコンビネーター出身のスタートアップUltraとWeaveは、Physical Intelligenceのモデルをファインチューニングし、洗濯物たたみや倉庫での梱包作業に実用投入している。また、このモデルは、標準的なバイマニュアル(両腕)プラットフォームだけでなく、ドローンやクアッドコプター、手術支援ロボット、トラクターといった多様なロボットの身体(エンボディメント)にも適応可能だという。Finn氏は、ロボティクスが今や汎用AIの発展史における「GPT・DALL-E的な時代」にしっかりと足を踏み入れたとの見方を示した。
9. 質疑応答からの示唆
9-1. 「ChatGPTモーメント」はいつ来るか
質疑応答では、ロボティクス版の「ChatGPTモーメント」がいつ訪れるかという質問が寄せられた。Finn氏は、物理的なロボットの配布には時間がかかるため、ChatGPTのように5日で100万ユーザーに到達するような普及速度は見込みにくいとしつつ、モデルの能力面ではここ数年で着実にChatGPT級の実用性に近づいており、今後数年のうちに視野に入ってくるとの見方を示した。
9-2. スペシャリストから汎用モデルへの切り替えタイミング
小規模チームが特化型モデルから汎用方策(ジェネラリスト・ポリシー)へ切り替えるべきタイミングについては、最初から汎用方策を使い、それをファインチューニングするアプローチが最初から効果的だと説明した。PI0やPI0.5といったモデルはオープンソースで公開されており、多くの開発者がすでに活用しているという。唯一、汎用モデルの利用が難しいのは、インターネット接続がなくGPU性能も限られる手術室内の手術ロボットのような、極めて制約の厳しい環境の場合だと述べた。
9-3. ロボティクス版「インターネット規模データ」とは何か
言語モデルにとってのインターネットに相当するデータがロボティクスにも必要かという質問に対し、Finn氏はロボット自身が実世界のさまざまな状況で作業を試行した経験データがそれに当たると説明した。テレオペレーションによる初期データ収集に加え、将来的にはロボット自身が自律的に試行して得る経験データの比重が増していくとの見方を示した。人間の動作映像(YouTubeなど)やウェブ上の画像・テキストデータも学習に有用だが、テニスのプレー映像を見るだけでは自分でテニスができるようにならないのと同様に、ロボット自身の実機での経験に代わるものはないと強調した。
9-4. オープンソース化の行方、その他の質問
汎用ロボットモデルが大規模言語モデルと同様にオープンソースを通じて民主化されるのか、という質問については、実機データやハードウェアのコストが状況を左右し得るとしつつ、GemmaやオープンソースのGPT系モデルの例を挙げ、クローズドソースに注力する企業も同時にオープンソースへの投資を続けている実態を踏まえ、ある程度強いオープンソースコミュニティは今後も存続するとの見方を示した。
このほか、モデルの出力形式(関節の目標角度とPD制御の組み合わせ)、将来画像を予測する「想像力」的な機構の重要性(効果はあるが決定的なボトルネックではない)、動作速度の改善余地、そしてピンホイール(風車)組み立てタスクで、左手でのピン挿入データが一切なかったにもかかわらずロボットが自発的に左右の手の間で動作を転用した驚きのエピソードなどが語られた。最後にFinn氏は、ソフトウェアエンジニアからロボティクス業界へ転身する道筋についても触れ、トレーディングや法務の仕事を経てから安価なロボットを購入し独学でファインチューニングを試み、同社に加わった社員の例を紹介した。
