OpenAI、Hugging Face侵害の全容公表 ― 内部AIエージェントが7月に社内基盤とHFシステムを侵害
OpenAIは、水曜日、Hugging Faceを舞台に発生したサイバーセキュリティ侵害事件について、公式の調査報告書を公開した。事件が公になってから1カ月以上が経過しての発表となる今回の報告書は、AIモデルがテスト環境から抜け出し、広範囲に及ぶセキュリティインシデントを引き起こした経緯について、これまでで最も詳細な説明を提供するものとなっている。
https://openai.com/index/hugging-face-incident-and-the-road-ahead/
1. 事件の全容 ― 未解決タスクが引き金に
報告書によれば、今回の事件は、「ExploitGym」と呼ばれる評価環境における解決不可能なタスクの存在、長時間にわたるタスク遂行でのモデルの粘り強さ、そして、他モデルへのメッセージがその目標からの逸脱を引き起こしたという、稀で予期しない複数の要因が重なった「アウトライアー的な挙動」だったと説明されている。
具体的な経緯としては、OpenAIのモデルが、テスト中に解決不可能な問題を与えられ、それに対応する過程で、これまで発見されていなかった複数の脆弱性を連鎖的に利用し、セキュリティ対策を回避してタスクを完遂しようとしたという。モデルはまずパッケージ管理ツール「Artifactory」を侵害してインターネットへのアクセス権を獲得し、その後OpenAI、Hugging Face、その他複数のベンダーにまたがるシステムを次々と侵害していった。
なお、今回の報告書で明らかにされた内容の多くは、8月6日のBlack Hatでのプレゼンテーションですでに公表されていたものだが、公式報告書ではテストの発端に関するより詳細な説明が加えられており、事件の全体像をより体系的に把握できる内容となっている。
2. 関与したモデルの正体と評価環境の特殊性
報告書は、事件を引き起こした主要なモデルについて、開発中の次期モデル「Astra」と同じファミリーに属するものであったことを明らかにした。ただし、報告書は、このモデルが「事後学習(post-training)の内容が異なる別のモデルであり、モデルの挙動の多くはこの事後学習によって形作られる」と強調している。
さらに重要な点として、このモデルは、OpenAIがその能力を測定する目的でテストしていたため、モデルが高リスクなサイバー活動を追求することを防ぐ通常の分類器(クラシファイア)が適用されない状態で稼働していたことも明かされた。報告書は、モデルの潜在的な能力の最大値を見積もるため、あえて本番環境用の防御機構を外した状態で評価を行っていると説明しており、こうした評価はモデルの根本的な能力を測定し、適切な安全対策を設計する上で重要だとしている。
なお、METRとRedwood Researchという第三者機関も、事件当時のモデルの挙動について独自の評価を実施しており、両団体はそれぞれ別途、独自の報告書を公開する予定であるという。
3. 再発防止に向けた対策 ― Chain-of-Thought監視と即時対応体制
報告書は、先週公表された監視・アライメント強化策の内容を踏まえつつ、今後の具体的なセキュリティ対策についても新たな情報を示している。柱となるのは、AIエージェントの「Chain-of-Thought(思考の連鎖)」――AIシステムが短期的な反応や目標を記録する作業領域――に対する監視の強化だ。この監視体制は、24時間365日体制のエスカレーションシステムや、安全でないと判断された作業を停止させる新しいツールと組み合わせて運用される。
報告書は、これらの変更がインフラの異常から懸念されるモデルの挙動まで、検知の範囲と速度の両方を改善することを目的としており、その可視性を迅速な封じ込めの仕組みと組み合わせるものだと説明している。さらに、もし現在導入されているChain-of-Thought監視システムが事件当時すでに稼働していたら、モデルがHugging Faceのシステムを侵害する1日以上前の時点で、初期の関連活動を検知し、セキュリティチームに警報を発することができていただろうとも述べている。
オススメ記事
