NVIDIA、AIエージェントの「暴走」防ぐオープンソース基盤

NVIDIAは、AIエージェントの安全な運用を支援する「NVIDIA Open Agent Safety Platform」を発表した。オープンソースのセキュアランタイム「NVIDIA OpenShell」と、DPUを使ってエージェントを独立監視するリファレンスシステム「NVIDIA Sentry」で構成する。

AIエージェントが利用できるデータやAPI、ツールなどに境界を設定するとともに、設定された範囲を逸脱しようとした場合に検知・隔離する仕組みを提供する。ソフトウェアだけでなく、CPUやDPUなどのハードウェア層まで含めて制御する点を特徴としている。

OpenShellは、AIエージェントを隔離された環境で動作させ、アクセス可能なデータ、ツール、API、サービスなどをポリシーによって制限するオープンソースソフトウェア。

AIモデルやエージェント自身の安全機構とは別に、実行環境側から強制可能な境界を設け、エージェントがどのような処理を実行したかを追跡し、設定したポリシーを適用できる。

NVIDIAは、AIエージェント向けCPUとして開発した「Vera CPU」とOpenShellを組み合わせることで、低いオーバーヘッドでこうした制御を実現するとしている。

OpenShell自体はオープンソースで、NVIDIA製CPUに限定されない。ArmやIntelなどのコンピューティングプラットフォームへの対応も進められている。

参加企業は、Anthropic、Cisco、CrowdStrike、Dell、HPE、Hugging Face、JPMorganChase, Microsoft、Palantir、Palo Alto Networks、Perplexity、Red Hat、Salesforce、SAP、Scale AI、ServiceNow、SpaceXAIなどの大手IT/AI企業が並ぶ。ただし、OpenAIやGoogle、Metaらは参加していない。

BlueField-4で独立監視する「Sentry」

Open Agent Safety Platformのもう1つの要素が、リファレンスシステム設計「NVIDIA Sentry」。Sentryは「NVIDIA BlueField-4 DPU」上で動作し、AIエージェントとは分離されたアウト・オブ・バンド環境からエージェントの挙動を継続的に監視する。

エージェントが許可された境界を越えようとした場合には、ミリ秒単位で隔離・停止できるという。エージェント自身や、エージェントを侵害した攻撃者から独立した場所でセキュリティポリシーを適用できることがポイントとなる。

基盤にはNVIDIAのDPU向けソフトウェア「DOCA」を利用。エージェントのリクエストやレスポンスの検査、ID検証、テレメトリ、データやAPIへのゼロトラスト型アクセス制御などを実装できる。

Claude、Slack、SAPなどと連携

企業による採用や統合も進める。Anthropicは「Claude Managed Agents」とOpenShell、BlueFieldを連携し、AIエージェントのアクセス制御を強化。SalesforceはOpenShellをSlackに統合し、エージェントの監視や権限承認を可能にする。SAPもJoule StudioランタイムにOpenShellを組み込む。

このほかMicrosoft、Red Hat、Cisco、CrowdStrike、Scale AIなど100以上の組織が関連技術の採用・対応を進めている。ロボティクス分野ではFigureなどがOpenShellを活用する。

OpenShellを含むOpen Agent Safety Platformのソフトウェアは、NVIDIAの開発者向けサイトおよびGitHubで公開されている。