NVIDIA、エージェント型AIを最大4倍高速化する「Groq 3 LPX」

NVIDIAは8月24日、インタラクティブAI推論アクセラレーター「NVIDIA Groq 3 LPX」の量産開始を発表した。これによりNVIDIA Vera Rubinプラットフォームを拡張し、エージェント型AI向けに高速なトークン生成を提供する。

エージェント型システムは、数百から数千の推論ステップにわたって膨大な量のトークンを生成するため、エージェントがリアルタイムで推論を行ない、行動し、複雑なタスクを完了するためには、トークンの生成を高速化することが極めて重要になる。

NVIDIA Groq 3 LPXのArtificial Analysisのベンチマークでは、オープンソースのエージェント型モデル「Gemma 4 31B」を10万トークンのコンテキスト条件で実行し、1秒あたり3,400トークンを記録。同モデルでこれまでに記録された中で最速の性能としている。

NVIDIAによると、Groq 3 LPXはVera Rubin NVL72の推論性能を強化し、エージェント型コーディングなどレイテンシに敏感なワークロードで、最も近い代替プラットフォームと比べて最大4倍の応答速度を実現するという。

また、エージェント型AIで求められる大規模コンテキスト処理と低レイテンシのトークン生成のうち、特に生成速度の向上に重点を置いて設計。コード生成やテスト、ツール呼び出し、結果検証などを繰り返すエージェント型ワークロードの応答性向上を狙う。

Groq 3 LPXはVera Rubin NVL72と組み合わせて提供され、NVIDIA BlueField-4 DPUやVera CPU、Spectrum-6 SPX Ethernetなどと連携することで、マルチエージェントシステム向けに推論レイテンシの低減とスループット向上を図る。