NVIDIA、次世代AIインフラ「Rubin」 推論トークンコスト1/10

NVIDIAは、次世代AIインフラ「Rubin」プラットフォームを発表した。6つの新チップを協調させることで、トレーニング時間を大幅短縮。「Blackwell」プラットフォームと比較して最大1/10のコストで推論トークンを提供する。

Rubinプラットフォームは、NVIDIA Vera CPU、NVIDIA Rubin GPU、NVIDIA NVLink 6 スイッチ、NVIDIA ConnectX-9 SuperNIC、NVIDIA BlueField-4 DPU、NVIDIA Spectrum-6 イーサネット スイッチの6つのチップ全体で構成。これらを緊密な協調設計によって連携させることで、トレーニング時間の大幅短縮と推論トークンコストの大幅削減を実現する。

Rubin GPUはMoE(Mixture of Experts)モデル向けに最適化されており、Blackwellプラットフォームに対して1/10のコストで推論トークンを提供。従来比1/4のGPU数でMoEモデルをトレーニング可能で、AI導入の加速が可能になる。名称は、米国の天文学者「Vera Florence Cooper Rubin」にちなんだもの。