Google、次世代AI向けTPU拡充　大容量処理の「8i Max」と機密保護の「8tx」

Googleは、第8世代のAI向けアクセラレータ「TPU」に、大規模なコンテキスト処理に対応する「TPU 8i Max」と、機密性の高いデータの処理に適した「TPU 8tx」を追加すると発表した。

4月に発表した大規模学習向けの「TPU 8t」、リアルタイム推論向けの「TPU 8i」と合わせ、第8世代のラインアップは4システムに拡大。今回の2システムは既存のチップを活用し、パッケージやネットワーク、セキュリティなどの構成を用途に合わせて最適化している。

TPU 8i Maxは、2つのTPU 8iチップを1つのパッケージに搭載。TPU 8iに対して演算能力、SRAM容量、HBMのメモリ帯域幅をそれぞれ2倍に高めた。多数のAIエージェントがコードベース全体や長時間の動画を扱う際に、メモリ帯域幅が処理のボトルネックになる問題に対応する。

既存と同じラック占有面積に2倍のシリコンを収容し、設置面積あたりの演算密度も向上。数百万トークン規模のコンテキストを扱う用途などを想定する。

TPU 8txは、規制の厳しい企業や政府機関向けに、機密データを扱う推論処理に最適化したシステム。TPU 8tと同じシリコンにカスタムのAMD製CPUホストを組み合わせ、処理中のデータやモデルの重みをハードウェアレベルで保護・分離する。

低遅延の「Boardfly」ネットワークを採用し、TPU 8tと比べてレイテンシを最大で半分に短縮するという。小規模な学習にも対応し、単一のシステムでモデルの実行とカスタマイズが可能。機密データを別のクラスターへ移すことなく、追加学習やモデルの蒸留、強化学習によるエージェントの学習を行なえる。

ソフトウェア面では、TPUクラスターのメモリやストレージを統合的に扱う「TPU Sync」のオープンソース化も発表。モデルの推論に使うKVキャッシュの転送レイテンシと、最初のトークンを出力するまでの時間(TTFT)を90%以上削減するとしている。