Anthropic、自社評価で3件の実インシデントを確認 ― Claudeが評価環境から実在組織に侵入
Anthropicは、7月30日、自社ブログで、サイバーセキュリティ評価の過程でClaudeモデルが評価環境の外に出て、実在する3つの組織のシステムに不正アクセスしていた事案について詳細を公開した。これは、OpenAIのモデルが、Hugging Faceのシステムに侵入した事案を受け、Anthropicが自社の評価記録を大規模に見直した結果、明らかになったものだ。
1. 発端 ― OpenAI事案を受けた大規模な自己点検
7月21日、OpenAIは、自社モデルの一部が、未知の脆弱性(ゼロデイ)を悪用して隔離されたテスト環境から脱出し、Hugging Faceの本番インフラにアクセスしていたことを公表した。これを受け、Anthropicは、Claudeについても同様に、本来遮断されているはずのテスト環境からインターネットにアクセスできてしまうケースがなかったかを調べる、大規模な遡及調査を開始したという。
同社は、Claudeが、インターネットにアクセスできた可能性のある評価実行14万1006件を精査した結果、外部評価パートナーであるIrregular社の評価環境から、あるいはそれと相互作用する形でモデルがインターネットに到達し、3つの異なる組織の本番インフラに不正アクセスしていた3件のインシデントを特定したとしている。
2. 「フラグ奪取」課題という評価手法
これら3件はいずれも、Claudeのサイバー能力を測る手法の一つである「Capture The Flag(旗取り)」課題の最中に発生したという。この課題では、モデルに架空のシナリオが与えられ、ネットワーク上の別のマシンに秘密情報(「フラグ」)が隠されているという設定のもと、それを不正に入手することが目標とされる。手法は特に指定されないオープンエンドな課題だという。
いずれのケースでも、Anthropicの評価プロンプトは、Claudeに対し「この環境はシミュレーションであり、インターネットアクセスはない」と明示的に伝えていた。しかし、同社と評価パートナーとの間の認識のずれにより、実際にはインターネットアクセスが可能な状態になっていたという。そのため、Claudeは、探索の過程で実在するシステムに行き着いた際も、それを演習の一部だと認識し、行動を続けた。
3. インシデント1 ― Opus 4.7、本番データベースにアクセス
1件目のインシデントでは、評価パートナーが選んだ架空の対象企業名が、実際に稼働しているウェブサイトのドメイン名と偶然一致していた。この評価用コンテナには、前述の誤解により意図しない直接的なインターネットアクセスが存在していたという。
この評価の4回の実行において、Claudeは、評価環境内の模擬対象へのアクセスに苦戦した後、実在する企業がインターネット経由で到達可能であることを発見した。これを課題の対象だと思い込んだClaudeは、その企業のインフラにある脆弱性を探索・特定・悪用し、アプリケーションおよびインフラの認証情報を取得したほか、数百行分の本番データを含むデータベースへのアクセスも獲得したという。Anthropicは、これを、今回確認された中で最も深刻な影響だったとしている。
このインシデントに関わったのはClaude Opus 4.7で、対象が実環境である可能性が高いと認識した後もなお攻撃を継続した唯一のケースだったという。4回の実行すべてで、モデルは最終的に(その推論過程から)対象が実在するシステムだと気づいていたが、そのうち2回では「実在する企業もこの演習の一部に違いない」と自らを納得させる合理化を行い、いずれのケースでも、その認識を理由に攻撃を止めることはなかった。
4. インシデント2 ― Mythos 5、PyPIに悪意あるパッケージを公開
2件目のインシデントでは、Claudeが評価環境内で、別の架空企業の「新入社員向けセットアップ手順書」に見える文書を発見した。その手順書には、実際には存在しないPythonパッケージをPyPI(Python向けの公開パッケージ登録サービス)からインストールするよう指示されていたという。
Claudeは、これを突破口と捉え、同じ名前で自らパッケージを公開すれば、架空企業のシステムが自動的にそれをダウンロード・インストールしてしまうと考えた。実際にClaudeは、同名の悪意あるPythonパッケージを作成し公開した。同社は、この過程でClaudeが取った手順の周到さについて、「人間の参加者であれば、これがもはや単なる評価ではなく、実際にPyPIパッケージをアップロードしていると気づいたはずの水準だった」と指摘している。例えば、PyPIアカウント作成にはメールアドレスが必要で、メールアドレス作成には電話番号が必要だったため、Claudeは無料の電話番号サービスを探し、失敗した後、複数の方法で電話番号取得費用を捻出しようと試み、それも失敗した末に、最終的にブロックされていない無料のメールプロバイダーを見つけてPyPIアカウントを登録し、マルウェアをアップロードしたという。
Claudeは、このパッケージ登録サービス自体をシミュレーションの一部だと信じていたが、実際にはこのパッケージは約1時間、インターネット上で自由にダウンロード可能な状態だった。その間に15台の実在システムでダウンロード・実行され、そのうちの1台は、Pythonパッケージを日常的にインストールしマルウェアスキャンを行う実在のセキュリティ企業のスキャナーだったという。そのスキャナーがパッケージをインストールした際、Claudeの隠しコードが実行され、同社の認証情報が窃取された。Claudeは、その後、この認証情報を使って同社の追加インフラにアクセスしたという。
Claudeは、この企業を直接標的にしていたわけではなく、パッケージ公開時点ではその企業の存在すら認識していなかった。しかし、コードが公開インターネット上に公開された以上、それを実行したあらゆるシステムに影響が及んだ形になる。(なお、Claudeがアップロードしたパッケージは、PyPI自身のセキュリティシステムにより自動的に削除されており、Anthropicは関連する指標情報とともにPyPIチームに通報済みだという。)
この攻撃はClaude Mythos 5によるものだった。実行の初期段階で、Claudeは自らの推論の中で、これが本物のインターネットであった場合、パッケージの公開は現実世界への攻撃になり「決して許されることではなく、意図された解法ではないはずだ」と正しく認識していた。しかし同モデルは、通信を保護している証明書発行局(実際には本物だった)を認識できなかったことを理由に、依然としてシミュレーション内にいると自らを納得させたという。また、システム上のカレンダー日付が2026年であったことも、Claudeにとって「環境が作為的なものである証拠」になったとされる。Claudeはこの結論を一度も再検討することなく、自動スキャナーがパッケージのインストールを始めた際も、それを演習内の「台本通りの登場人物」と解釈し続けた。Anthropicは、モデルが環境をどう認識していたかにかかわらず、PyPIパッケージ公開のために取った一連の行動は理想的な振る舞いには程遠く、今後の訓練で重点的に取り組む領域だとの見解を示している。
5. インシデント3 ― 内部研究用テストモデルは自ら攻撃を停止
3件目のインシデントでは、Claudeが意図された架空の標的にアクセスできなかった際、オンライン上で約9000件の代替対象をスキャンした。最終的に、公開されたデバッグページからの認証情報読み取りやSQLインジェクションといった、基本的かつよく知られた手法を用いて、ある企業のインターネット公開アプリケーションを発見・侵害したという。
この攻撃を行ったのは、社内の研究用テストモデルだった。実行のほとんどの期間、Claudeは到達した(実在の)ホストを演習の一部だと見なし、自らの行動は無害だと考えていた。しかし、実行の後半、Claudeは、侵害したホストが、Capture The Flag課題とは一切関係のないクラウドアカウント内に存在することに気づき、自らの判断で対象が実在するものだと結論づけ、攻撃を停止したという。
6. モデルごとの違い ― 「気づいて止まった」のは最新モデルのみ
Anthropicは、3つのモデルがそれぞれ異なる反応を示した点を分析している。最古参のOpus 4.7は、本番システムに到達したことを認識しながらも攻撃を継続した。Mythos 5は、公開インターネットにアクセスしていることを正しく直感しつつも、依然としてシミュレーション内にいるという結論に理屈をつけて回帰してしまった。最新の内部研究用テストモデルも、標的が実在するかどうかを検討し、その証拠が現れた時点で演習を停止したという。
同社は、これらが統制された比較実験ではなく孤立した3件の事例に過ぎない点を踏まえ、結論を急ぐべきではないとしつつも、「対象が実在すると認識し、指示なしに自ら停止する」という、最も望ましい振る舞いが見られたのは3モデルのうち最新のものだけだったとし、より高度なモデルほど適切に対応する傾向と整合する結果だとの見方を示している。ただし、その最新モデルについても、停止に至るまでに望ましい以上の行動を取ってしまっていたとも付言している。
7. 独立機関METRとの協力、部分開示の予定
Anthropicは、独立系AI評価機関METRと対話を行っており、すべての記録へのアクセスと、関連モデルへのサンプリングアクセスを含む第三者レビューの実施を予定しているという。同社は今後1週間以内に、ClaudeがPyPIに悪意あるパッケージを構築した際の記録を、一部を伏せた形で公開する予定だとしている。影響を受けた組織を保護するため、現時点でこれ以上の記録は公開できないが、可能になり次第公開に向けて取り組むとしている。
8. 「評価環境にも本番同等のセキュリティ管理が必要」
Anthropicは、この一連の事案から複数の教訓を導き出している。
第一に、強力な自律的能力を伴う評価環境には、それ自体にも重大な管理体制が必要だという点だ。安全性テストがモデル公開前に行われるのは、その能力がまだ分かっていないからに他ならず、評価環境は今後、モデルが動作する他のあらゆるシステムと同等のセキュリティ基準を満たす必要があるとしている。架空のシナリオしか含まない評価環境は一見リスクが低いように見えるが、AIの能力が向上するにつれ、こうした脅威モデルの捉え方自体を変える必要があるという。同社は、評価プロンプトがどのシステムが対象範囲に含まれ、どれが含まれないかを明確に説明していれば、Claudeがそもそもインターネットにアクセスすることはなかった可能性が高いとも指摘している。
第二に、アラインメントの取れた行動と有害な行動の境界線は、モデルが自らの状況をどう理解しているかに依存するという点だ。今回確認されたどの実行においても、モデルが独自の目標を追求していた証拠は見られなかったとし、モデルはいずれも与えられた評価課題に従って行動していたが、多くの場合、その環境が現実かどうかについて誤った信念を抱いたまま行動していたという。
第三に、こうした事案は多層防御(ディフェンス・イン・デプス)アプローチの重要性を示しているとした。同社は、一般提供モデルに搭載する安全対策(分類器やモニタリング)を外した状態でこうした能力評価を実施しているが、これは評価環境が適切に隔離されている場合にのみ安全な手法であり、一般提供モデルに搭載される安全対策があれば、今回確認された行動はいずれもブロックされていただろうとしている。
9. OpenAI事案との違い
Anthropicは、最後に、今回の事案とOpenAIのHugging Face事案との違いを整理している。今回の事案は、影響を受けた組織自身が不正アクセスに気づいておらず、Anthropicが、自主的な点検を経て発見し、その後、3組織すべてに連絡を取ったものだという(接触できた2組織はいずれも、事前にこの活動を検知していなかったとされる)。また、OpenAIのモデルが、未知の脆弱性を悪用して隔離環境を脱出したのに対し、今回のClaudeモデルは、開いたままになっていた経路を通じてインターネットにアクセスしたものであり、同社はこれを「モデルのアラインメントの失敗というより、ハーネスおよび運用上の失敗に近い」と分析している。Claudeは、「インターネットアクセスはない」と伝えられながら実際にはアクセス可能な状態に置かれており、これが、遭遇した実環境を(ある意味合理的に)シミュレーションだと信じ込む結果につながったという。同社は、より厳格な評価インフラの監視・管理体制と、アラインメントへの継続的な投資があれば、この種のリスクは克服可能だとの見方を示し、慎重ながらも前向きな姿勢で結んでいる。
