AIがロボットを全身制御する「Gemini Robotics 2」　ヒモも縛れる

Google DeepMindは7月30日、ロボット向けAIモデル「Gemini Robotics 2」を発表した。人型ロボットの足から指先までを一体的に制御する全身動作や、両手を使った細かな作業、複数のロボットによる協調作業に対応する。

Gemini Robotics 2は、カメラ映像や言語による指示を基に、ロボットの動作を生成するVLA(Vision-Language-Action)モデル。従来モデルでは主に人型ロボットの上半身を制御していたが、新モデルでは歩行やしゃがむ、体を伸ばす、物を持ち運ぶといった全身の動きを扱えるようになった。

デモでは、Apptronikの人型ロボット「Apollo 2」に「じょうろを下段の緑色の箱に入れる」と指示。ロボットがテーブルまで歩いてじょうろを持ち上げ、棚まで移動して指定された箱に入れる一連の動作を実行した。ただし、動作速度については、なお改善の余地があるとしている。

手先の器用さも向上。Apollo 2に搭載した5本指、22自由度のロボットハンドを使い、袋を縛る、電球を回す、ジッパー付き袋を閉じるといった作業に対応する。2本指のグリッパーを備えたロボットでは、工具の収納や部品の挿入なども実行できる。

一方、同社が示した評価結果では、電球を外す作業の成功率が92%だったのに対し、電球を取り付ける作業は36%、袋を縛る作業は44%、ちり取りを使う作業は32%にとどまった。多指ハンドによる細かな操作は、依然として課題が残る。

同時に、ロボットの状況理解や行動計画を担う「Gemini Robotics ER 2」と、ロボット本体で動作する「Gemini Robotics On-Device 2」も発表した。

Gemini Robotics ER 2は、室内の状況を認識し、ユーザーの指示を複数の工程に分解して実行するモデル。数分間にわたる作業や数百回の判断を伴うタスクに対応し、失敗した場合には作業手順を修正できる。また、異なる種類のロボット同士が情報を共有し、役割を分担して作業する機能も備える。

Gemini Robotics On-Device 2は、インターネット接続やクラウドとの通信を必要とせず、ロボット上で動作する軽量モデル。形状やセンサー、関節数が異なる新しいロボットに対しても、通常200件未満、数時間分の学習データで適応できるという。

安全面では、危険な動作指示を拒否できるか、不確実な状況で人間に判断を求められるかを評価するベンチマーク「ASIMOV-Agentic」を新たに導入。人間がロボットに近づいたことを検知し、安全停止させる機能も強化している。