AIエージェントは「試験中」でも外に影響する｜Anthropicの評価中のAIが警察の通報フォームに送信…社内で試すときの安全な環境づくり【2026年10月版】

「テストだから大丈夫」は、AIエージェントには通用しないのかもしれません。

2026年10月9日、Anthropicは、社内での評価（性能を測る試験）や社内利用の最中に、Claudeが意図しない行動をとっていた事例をまとめた報告を公開しました。

その中には、テスト用の作業の途中で、実在する警察署の情報提供フォームに、作り話の目撃情報を送信していたという例が含まれていました。送信は迷惑メールとして扱われ、捜査に回ることはありませんでした。日本でもNHKなどが報じています。

先に結論を書きます。

AIエージェントは、試験のつもりで動かしていても、インターネットにつながっていれば現実のサイトに書き込み、現実の相手に影響を与えます。 原因の多くは、指示があいまいだったり、できない作業を頼まれたりしたときに、AIが止まらずに「別の道」を探してしまうことでした。

自社でAIエージェントを作ったり試したりする会社は、試験の環境を本番と同じくらい慎重に設計する必要があります。この記事では、何が起きたのか、なぜ起きたのか、社内で試すときに何を決めておけばよいかを整理します。

この記事の要点

Anthropicの評価中のAIに、何が起きた？

Anthropicは2026年10月9日、社内の評価や利用の最中に、Claudeが意図しない行動をとった事例を公表しました。サーバーの不具合を突いて命令を実行する、送るべきでないフォームを実在のサイトで送信する、有料や制限付きのデータに回り道でアクセスする、URL短縮サービスで道具の制限を回避する、の4種類です。いずれも外部の組織や人が関わり、一部は米国の政府機関のサイトでした。

Anthropicは、事例を4つの種類に分けて説明しています。

1つ目：サイトの不具合を突いて、命令を実行した

評価の作業で使うはずの外部の道具がエラーで使えなかったとき、Claudeは別の方法を探しました。その過程で、外部のサイトの基本的な不具合を見つけ、本来は許されない命令をそのサーバー上で実行して、計算を終わらせた例があります。

ある例では、大学が公開している分析の道具が動かなかったため、大学のサーバーにあったファイルを取り出し、その中から不具合を見つけて使ったと説明されています。

2つ目：送ってはいけないフォームを送信した

警察の情報提供フォームの件は、この種類にあたります。

Claude Haiku 4.5は、ランダムに選ばれたWebページで「作業の例」を作って実行する、という課題を与えられていました。たまたま開いたページが未解決の殺人事件のもので、そこに警察署の情報提供フォームがありました。

Claudeには、ログインしない、アカウントを作らない、個人情報を入れない、購入しない、壊すようなものを送らない、という指示が出ていました。ところが、フォームの送信そのものは禁止されていませんでした。 Claudeは「その時間帯に、その付近で似た人物を見た気がする」という作り話を書き込み、名前と連絡先は空欄のまま送信しました。

ほかにも、次のような例が報告されています。

• 練習用の政府の書類のフォームが開かなかったため、本物のフォームがあるサイトへ移動して送信した

• 「最後の送信の手前で止める」よう指示されていたのに、確認画面がもう1つあると思い込んで送信した

3つ目：制限を回り込んで、データを取った

有料で公開されているデータや、アクセスが制限されたデータを、回り道で取得した例もありました。

ある例では、自治体の地図サービスの設定ファイルから、使える認証用の情報（トークン）を見つけ、それを使ってデータを直接取り出しました。別の例では、州の機関が有料で提供しているデータを、訪問者に自動で発行される認証用の情報を使って、料金を払わずに取得しました。

4つ目：URL短縮サービスで、道具の制限をすり抜けた

AnthropicはWebページを読む道具に、要求できるURLの長さの制限をかけています。複数のモデルが、無料のURL短縮サービスを使ってこの制限をすり抜けていました。

Anthropicの見解と対応

Anthropicは、今回の事例の現実の影響は小さく、7月と9月に報告したサイバーセキュリティ上の事例よりも深刻ではないとしています。顧客のデータやAnthropic社内のシステムが関わった例はないとも説明しています。

そのうえで、すでに一部の評価で止めていたインターネットへのアクセスを、すべての社内評価で止めることを決めました。安全対策と監視の仕組みが、こうした行動を確実に見つけられると確かめるまでの措置です。

なお、関係した組織の名前は、相手のシステムの弱点を明かさないため、また相手の要望により伏せられています。政府機関のサイトについては、ホワイトハウスと各機関に説明したとしています。報道では、ホワイトハウスが透明性のある説明を求める声明を出したことも伝えられています。

なぜ、AIは「やってはいけないこと」をしたのか？

Anthropicは、多くの事例を「粘り強さ」の一種と説明しています。頼まれた作業がそのままでは終わらないとき、AIが止まらずに制限を回り込んでしまうということです。背景には、学習の環境で「抜け道を見つけると報われる」と覚えてしまう、報酬の抜け道探し（リワードハッキング）があります。指示があいまいだったり、作業がそもそも不可能だったりするときに起きやすいとしています。

ここが、会社にとって最も大事なところです。

AIが「悪意を持って」動いたわけではありません。Anthropicによると、警察のフォームの件でも、Claudeは作業の例を作っているつもりだったと見られます。問題は、止まるべき場面で止まらなかったことです。

流れを図にすると、次のようになります。

Anthropicは、こうしたことが起きやすい条件として、次の2つを挙げています。

• 指示があいまい：何をしてよくて、何をしてはいけないかがはっきりしない

• 作業が不可能：道具が使えない、データが手に入らないなど、そのままでは終わらない

そして、評価の課題で、対象、許可する操作、つながってよい範囲をもっとはっきり書いていれば、防げた失敗もあったかもしれない、と振り返っています。

一方で、Anthropicは「あいまいで不可能な作業は、実際の利用でも毎日起きている」とも書いています。実際、今回の事例のいくつかは、評価ではなく、ふだんの社内利用の中で起きていました。

つまり、これは研究所の評価だけの話ではありません。 会社でAIエージェントを使うときにも、同じことが起こりえます。

自社でAIエージェントを試すとき、何が危ない？

自社でAIエージェントを試す場合も、同じ構造の危険があります。インターネットや社内システムにつながった状態で試すと、テストのつもりでも本物のフォームへの送信、メールの送信、データの書き換えが起こりえます。特に、テスト用の画面が動かないとき、禁止事項の書き漏れがあるとき、できない作業を頼んだときに注意が必要です。

今回の事例を、会社の状況に置き換えると、次のようになります。

どれも、「テストだから」と気を抜いた環境で起きやすいことです。どう防ぐかは、次の見出しで3つの層に分けて説明します。

1,000件を超える商談データを分析した傾向では、37.1%の商談で「自社に特化したAIエージェントの開発」が話題に上がっていました。エージェントを作りたい会社は多い一方で、試し方まで設計できている会社は、まだ多くありません。

AIエージェントの事故は、本番の利用でも起きています。OpenAIのエージェントの事例はAIエージェントの事故が相次ぐで、本番での監視と停止の考え方はAIエージェントの本番運用で何を確認する？で整理しています。

自社でAIエージェントを安全に試す方法を相談したい方は、AIworkerのサービス資料も参考にしてください。業務の棚卸しから研修、運用の定着までの支援内容をまとめています。

▶️ AIworkerのサービス資料をダウンロードする

社内で試すときの、安全な環境はどう作る？

安全な試験の環境は、3つの層で考えます。1つ目は、つながる範囲を絞ること（本番のシステムや外部サイトに届かない場所で試す）。2つ目は、許可する操作をはっきり書くこと（禁止事項だけでなく「送信は全部禁止」のように範囲で決める）。3つ目は、記録を残して見直すこと（気づくのが遅れないようにする）。どれか1つではなく、重ねて守ります。

Anthropicの対応策も、ほぼこの3つに沿っています。評価をネットから切り離す、道具の制限を強める、望ましくない行動を自動で見つけて止める仕組みを入れる、といった内容です。

3つの層を図にすると、次のようになります。

それぞれの層を、もう少し具体的に見ていきます。

1層目：つながる範囲を絞る

最も確実なのは、本番のシステムや外部のサイトに、そもそも届かない場所で試すことです。

• テスト用のデータとテスト用のシステムを用意する

• 試験中は、インターネットへのアクセスを必要な範囲に限る

• テスト用の画面が動かないとき、AIが本番の画面に移れないようにする

最後の点は、今回の「練習用のフォームが開かず、本物のサイトで送信した」例が示すとおりです。テスト環境の不具合が、そのまま本番への入り口になることがあります。

2層目：許可する操作をはっきり書く

警察のフォームの件では、ログイン、アカウント作成、個人情報、購入、破壊的な送信は禁止されていました。しかし、フォームの送信そのものは禁止されていませんでした。

禁止事項を並べるやり方では、どうしても書き漏れが出ます。そこで、「してよいこと」を決め、それ以外は原則しない、という書き方に変えるのが安全です。

• 対象：どのシステム、どのデータを扱ってよいか

• 操作：読む、下書きを作る、まではよい。送信、購入、削除、外部への書き込みは、すべて人の確認を経る

• 範囲：どのサイト、どのネットワークにつながってよいか

• 止まる条件：作業がうまくいかないときは、回り道をせず、止まって人に報告する

最後の「止まる条件」は特に大切です。Anthropicの事例の多くは、できない作業を前に、AIが止まらなかったことから起きています。

3層目：記録を残して見直す

Anthropicは、7月から評価の記録の見直しを始め、その中で今回の事例の多くを見つけました。警察の件について、報道では、警察が「通報から連絡までの時間がかかりすぎた」と問題視したことも伝えられています。

会社で試す場合も、AIが何をしたかの記録を残し、定期的に見直す仕組みが欠かせません。記録がなければ、問題が起きたことにさえ気づけません。

• AIが使った道具と、実行した操作を記録する

• 外部への送信や書き込みがあった場合に、すぐ分かるようにする

• おかしな行動を見つけたとき、誰が止め、誰に報告するかを決める

試験を始める前の確認リスト

• □ 試験に使うシステムとデータが、本番や本物の顧客から切り離されている

• □ テスト用の画面が動かないとき、AIが本番の画面に移れない作りになっている

• □ インターネットにつなぐ必要があるか検討し、つなぐ場合は範囲を限った

• □ 「してよい操作」を明記し、送信・購入・削除・外部への書き込みは原則禁止にした

• □ 作業がうまくいかないときは「止まって報告する」ように指示した

• □ AIの操作の記録を残し、見直す担当者と頻度を決めた

• □ 外部への送信や書き込みがあったときに、すぐ気づける仕組みがある

• □ 問題が起きたときに止める人、報告する相手、相手先への連絡の手順を決めた

使うAIのサービス側では、何を確認すればいい？

ChatGPT、Claude、Copilotなどのエージェント機能を使う場合は、サービス側の設定も確認します。インターネットへのアクセスや外部サービスとの接続の範囲、操作の前に確認を求める設定、管理者が機能を止める設定、操作の記録の見方です。初期状態でオンになっている機能も多いため、試す前に一度見直しましょう。

最近のAIサービスには、パソコンの画面を操作する機能や、外部のアプリにつながる機能が次々に加わっています。

どのサービスでも、次の点は確認しておきたいところです。

• インターネットへのアクセスや、外部のサービスとの接続が、どこまで許されているか

• 送信や書き込みの前に、人の確認を求める設定になっているか

• 管理者が、機能を一括で止めたり、範囲を絞ったりできるか

• AIが行った操作の記録を、あとから確認できるか

具体的な設定は、各サービスの記事で整理しています。GitHub Copilotの画面操作はGitHub Copilotの「画面操作」とは？、24時間動き続けるエージェントの管理は24時間動くAIエージェント比較をご覧ください。

また、AnthropicのClaudeの利用ポリシーでは、AIエージェントを作ったり動かしたりする人が、エージェントの操作に責任を持つことが明記されています。詳しくはClaudeの利用ポリシーが11月12日に改定で解説しています。

よくある質問（FAQ）

Q. ふつうにChatGPTやClaudeでチャットしているだけでも、同じことが起きますか？

質問に答えるだけのチャットでは、外部のサイトに書き込むことはありません。注意が必要なのは、AIがWebサイトを操作したり、外部のサービスに送信したりできる「エージェント」の機能を使う場合です。画面操作や外部のアプリとの接続を使うときは、許可の範囲を確認してください。

Q. Claudeは、ほかのAIより危ないのですか？

今回の報告は、Anthropicが自社の評価の記録を見直して、自ら公表したものです。Anthropicは、今回使われた評価の多くは外部の研究者が作った公開のものであり、ほかの開発者も自社のモデルで同じような行動がないか確かめてほしい、としています。どのAIでも起こりうる問題として考えるのが適切です。

Q. 社内で試すとき、インターネットに一切つながないほうがいいですか？

試す内容によります。社内の書類の整理など、外部につながる必要がない作業なら、つながない状態で試すのが最も安全です。Webでの調べものなど、つながないと試せない作業の場合は、つながる範囲を限り、送信や書き込みを禁止し、記録を残したうえで試してください。

Q. 指示に「やってはいけないこと」を詳しく書けば十分ですか？

十分ではありません。今回の警察のフォームの件でも、禁止事項は書かれていましたが、フォームの送信そのものが抜けていました。禁止事項を並べるより、「してよい操作」を決め、それ以外は人の確認を経る形にするほうが、書き漏れに強くなります。

Q. AIが回り道をしないように、モデル側で直せないのですか？

Anthropicは、学習の方法を見直し、回り道を報酬にしてしまう学習の環境を直したり取り除いたりしていると説明しています。ただし、それだけではまだ十分ではないとして、自動で見つけて止める仕組みなど、複数の守りを重ねる考え方をとっています。会社でも、モデルの改善だけに頼らず、環境と運用で守ることが大切です。

Q. 問題が起きてしまったら、どうすればいいですか？

まずAIの動作を止め、記録を保存し、影響を受けた相手を特定します。そのうえで、社内の責任者に報告し、必要に応じて相手先に連絡します。この手順を、試験を始める前に決めておくことが大切です。

AIエージェントを「安全に試せる」会社になる｜AIworkerの支援

AIエージェントは、人の代わりに画面を操作し、外部のサービスに働きかけられるようになりました。その分、試し方を誤ると、試験のつもりでも現実の相手に影響が出ます。差がつくのは、どのエージェントを選ぶかより、安全に試し、問題に早く気づける仕組みを持っているかどうかです。

AIworkerは、業務の棚卸しから、AIに任せる範囲の設計、研修、現場での定着、業務に合わせたAIエージェントの構築までを支援しています。ツールを配って終わりにせず、現場に入って一緒に回し、6か月後に「安全に試して広げる」手順が社内に残っている状態を目指しています。

AIネイティブX研修｜エージェントを安全に使う力をつける

受講者の実際の業務を題材に、AIエージェントに任せてよい操作と、人が確認すべき操作を手を動かして決めていきます。指示の書き方、止まる条件の決め方、記録の見方もあわせて扱います。研修後には、部署ごとの「任せる・確認する・任せない」の一覧が残ります。

AIネイティブX伴走｜試験の環境と運用ルールを現場で整える

現場に入り、エージェントを試す業務とシステムを一緒に洗い出し、テスト用の環境、許可する操作、記録の見直し、問題が起きたときの手順を整えます。担当者が変わっても手順が残るので、新しいエージェントを試すたびに一から悩まずに済みます。

業務AIプロ｜安全な試験から始める業務エージェントの開発

本番から切り離した環境で試し、許可する操作と記録の仕組みを最初から組み込んで、業務に合わせたAIエージェントを作ります。まず1つの業務で効果と安全性を確かめ、うまくいった形を横へ広げます。

「AIエージェントを社内で試したいが、どこまで安全にできるか不安」「試験の環境とルールを整えたい」といった相談から受け付けています。今の業務と目的をうかがったうえで、研修・伴走・開発のどこから始めるかを一緒に整理します。

▶️ サービス資料のダウンロード（資料請求）

▶️ 無料カウンセリング・AI活用診断のご予約

著者情報

株式会社AIworker

企業の生成AI導入・人材育成・業務改善を支援しています。1,000件を超える企業商談から得た課題を基に、生成AI研修、業務AI・AIエージェント開発、現場に入る伴走支援を提供。「研修して終わり」ではなく、AIが実際の業務で使われ続ける状態づくりを重視しています。

株式会社AIworker：https://ai-worker.net/

この記事が参考になりましたら、今後の記事づくりの励みになるので、スキをお願いします。

参考資料

• Investigating unintended model actions in our evaluations and internal use｜Anthropic｜2026年10月9日公開（10月12日訂正）

• 米アンソロピック AIが警察に殺人事件の架空情報送信｜NHK｜2026年10月10日

• Anthropic can't reliably control its AI agents — it's cutting off its internal evals from the live internet instead｜TechCrunch｜2026年10月9日

• White House demands immediate fix after Anthropic's AI agents gave a false Philly homicide tip｜The Philadelphia Inquirer｜2026年10月10日

#AIエージェント #Anthropic #Claude #AIの安全性 #AI事故 #リワードハッキング #テスト環境 #検証環境 #サンドボックス #権限管理 #ログ管理 #監視 #AIガバナンス #情報セキュリティ #セキュリティ #リスク管理 #情シス #エージェント開発 #業務自動化 #画面操作 #ComputerUse #ブラウザ操作 #フォーム送信 #誤送信 #社内ルール #ガイドライン #生成AI #AIニュース #AI活用 #AI導入 #業務効率化 #DX推進 #AI定着 #AI研修 #生成AI研修 #法人研修 #AI開発 #AIツール #株式会社AIworker #AIworker