ニュース

OpenAI、次世代モデル開発を「減速」 安全対策を最優先に

OpenAIは18日(米国時間)、安全対策の強化のため、次世代モデルの開発を「減速」すると発表した。

OpenAIでは次世代フロンティアモデル「Astra」などの開発とその高い数学的能力などを紹介してきたが、一方で同社モデルによるHugging Faceにおける不正アクセス事件などが発生。またAstraにおいては、AIモデルの能力の進歩を特定し、対策を決める「準備フレームワーク(Preparedness Framework)」において、最上位の「Critical」に達するなどで、能力向上に伴うトレーニングプロセスの全段階にわたる監視やアライメント、封じ込みの安全対策が一層重要になってきている。

そのため、OpenAIではスケーリングのペースを一時的に緩めた。対策検討の間、実運用を目的とした最新モデルの強化学習(RL)トレーニングを2週間中断するほか、計画していた最大規模のフロンティアRL実行も保留中という。この間は、小規模なトレーニングと評価を実施してモデルの挙動を評価し、安全対策の有効性を検証。アライメントに関するさらなる証拠を確立した上で、次の段階に進む予定としている。

次の段階へ進むうえで、「モニタリング」のほか、不正な行動が起こる可能性を低減する「アライメント」、「セキュリティ対策」の3つの対応を強化。安全対策を統合し、将来のモデルの能力や、それらが動作する環境をより適切に反映させていくとしている。

OpenAIのサム・アルトマンCEOもXで声明を発表。「モデルの進歩は非常に急速で、モデルの能力が安全性とアライメントのペースを上回っていると感じた場合には対策する。我々は、業界全体が共有の安全基準について調整する必要があると信じているが、その時までは一方的に行動する。我々は、安全性への信頼がAIの進歩のペースをますます設定すると予想しており、現在のアライメント作業に楽観的であり、最先端の能力を広く利用可能にするというコミットメントを維持している」と述べている。