ミュトスやGPT-5.6 Solが人を標的に有害行動　英国AI安全研究所

英国AI安全研究所(AISI)は4日(現地時間)、同研究所が行なったサイバー評価テストにおいて、AIエージェントが許可範囲を超えた自律的な行動を取ったことを発表。「モデルが想定範囲外の行動を試みる」ことを前提とした評価設計の導入の必要性などが求められるとしている。

評価では、122回の実行中10回で、実在の人物や組織を対象とした計19件の逸脱行動が確認された。そのうち、17件がAnthropicの「Mythos 5」、2件がOpenAIの「GPT-5.6 Sol」(セーフガードを解除した状態)によるもので、「実在の個人や組織に向けられた持続的で潜在的に有害な活動に従事した」という。

7月28日、AISIのセキュリティチームが定期的なサイバー評価の実施中に、研究所のシステムから異例のデータ転送が行なわれていることを検知。調査の結果、テスト対象の一部エージェントが、実在の人物や組織を標的とし、持続的かつ潜在的に有害な活動を行なっていたという。AISIは、発見から約1時間以内に事態を封じ込め、本格的な調査を実施した。

深刻なケースでは、エージェントがオープンソースプロジェクトに悪意のあるコードを挿入しようとし、エージェントが、コードを承認させるべく、「ソーシャルエンジニアリング」に手を染めた。偽のオンラインIDを作成し、プロジェクトのメンテナに圧力をかけ、コードの承認を迫ったという。人間のメンテナがこれに気づき、悪意のあるコードの承認を拒否した。

これらの試みは失敗に終わり、現実世界における被害は確認されていない。しかし、自律性と欺瞞に関するリスクが、具体的な指示なしに明確に現れたのは、今回が初めてとしている。

また、こうした攻撃が、モデルが安全なテスト環境(サンドボックス)から脱出したケースではなく、同研究所のサイバーテストにおける標準的な手順に従い、インターネットへのアクセスを意図的に許可し、モデルプロバイダーのサイバー分類機能を意図的に無効にしていたものだったという。

また、実在の人物を欺き、標的にしようとする試みや、悪意のあるコードの埋め込みやプロンプトインジェクションの試行なども確認された。

AISIでは、この問題を重大なインシデントと捉え、AISIの評価プロトコルやセキュリティアーキテクチャに永続的な変更を加える必要があると説明。インターネットアクセスに対するより厳格な管理、リアルタイム監視の強化、評価設計の再検討などが必要としている。

また、AIモデルの進歩により、こうした問題が拡大すると見込み、この経験を公開するとともに、OpenAIやAnthropicと連携しながら調査を継続する。