NVIDIA、ロボットに「ペン回し」を教える LLM活用

NVIDIAは、ロボットに複雑なスキルを教えることができるAIエージェントで、人間と同じように、手でペンを高速で回転させる「ペン回し」など30以上の動作をシミュレートすることに成功した。ロボットをトレーニングするための報酬アルゴリズムを作成する「Eureka」によるもの。

このほか、ロボットに引き出しやキャビネットの開け方や、ボールを投げたりキャッチする動作、ハサミの操作なども学習させたという。

Eurekaは、GPT-4によって駆動し、物理シミュレーションリファレンスアプリケーション「NVIDIA Isaac Gym」上で利用出来る。

発表された論文では、ロボットのトライアンドエラー学習を可能にするEurekaが生成した報酬プログラムは、80％以上のタスクで、人間が書いた専門的な報酬プログラムより優れていたという。これにより、ロボットの平均的なパフォーマンスは50％以上向上した。

Eurekaは、GPT-4 LLMと生成AIを利用し、ロボットに強化学習の報酬を与えるソフトウェアコードを記述する。タスク固有のプロンプトや事前に定義された報酬テンプレートを必要とせず、開発者が目的に合わせて報酬を修正することも容易に行なえる。Isaac Gym内でGPUアクセラレーテッドシミュレーションを使用することで、大量の報酬候補の質を迅速に評価でき、より効率的なトレーニングを行なえる。

Eurekaが、トレーニング結果から主要な統計情報の要約を作成し、報酬関数の生成を改善するようLLMに指示をすることで、AIは自ら動作を改善。四足歩行、二足歩行、クアドローター、ロボットハンド、コボット(協働ロボット)アームなど、さまざまなロボットにタスクを教育できる。