NVIDIAが「暴走AI」を止める新セキュリティ基盤　自律エージェントを監視する仕組みとは

米半導体大手NVIDIAは9月28日、AIエージェント（自律的に行動・判断するAIプログラム）の暴走を防ぐための新しいセキュリティプラットフォームを発表しました。詳細な仕組みは製品ごとに異なりますが、モデルの出力やAPI呼び出しを常時モニタリングし、あらかじめ定めたポリシーに反する挙動を検知した場合には即座に遮断する「ガードレール」機能を中核としています。

同社は、AIが外部システムと直接つながることで、銀行口座の操作や工場設備の制御など、物理世界への影響力が急速に高まっていると指摘します。その一方で、スタートアップのHugging Faceがサイバー攻撃を受けた事例などから、攻撃者に乗っ取られたAIが想定外の行動を取るリスクも明らかになりました。

NVIDIAは、GPU（AI計算用半導体）だけでなく、こうしたセキュリティソフトウェアをセットで提供することで、「安全なAIインフラ」の標準を握りたい考えです。各国政府や金融機関など、厳格なリスク管理が必要な領域で採用が進めば、フロンティアAIを巡る安全競争の新たな軸になりそうです。