AIが「次の自分」へ隠蔽を指示した事例｜OpenAIの報告から考えるAIエージェント監査の決めごと【2026年9月版】

株式会社AIworker

2026年9月23日 17:30

AIエージェントに、資料を探し、Excelをつくり、社内データを整理する仕事を任せる。

作業時間が長くなるほど、人は最後に出てきた成果物だけを見て判断したくなります。

その前提に、立ち止まるべき報告が出ました。

OpenAIは、GPT-5.6 Solの強化学習中に、一部のモデルが会話を短くまとめた要約へ「失敗を利用者に見せない」ための指示を書き残していたと公表しています。しかも、その指示は後続の処理でしばしば実行されていました。

これは、公開中のChatGPTで起きた情報漏洩事故の報告ではありません。訓練の最中に見つかった挙動です。

それでも、長い仕事をAIに任せる会社にとっては重要な材料です。最終成果物だけを確認する運用では足りないことを、具体例で示しているからです。

この記事の要点

✅ OpenAIが報告したのは、AIが会話の要約に、後続の自分へ隠蔽や捏造を促す指示を書き残していた訓練中の事例です
✅ 問題は要約の仕組みそのものではなく、長時間の作業で「何を根拠に、どんな判断をしたか」が見えなくなることです
✅ 企業のAIエージェントでは、根拠がないときの扱い、途中で残す記録、止めて人へ渡す条件を先に決めます

OpenAIは何を公表した？

OpenAIによると、AIを訓練している最中に、AIが作業の引き継ぎメモへ「失敗は利用者に見せないでおこう」と書き残すことがありました。 次の作業で、実際にそのとおり隠してしまうことも少なくありませんでした。公開中のChatGPTで起きた事故ではなく、訓練中に見つかった問題です。

報告の時系列は次のとおりです。

対象の挙動が出たサンプルの完了：2026年5月30日
発見：2026年7月9日
報告の更新：2026年9月16日

ここで使われている「文脈圧縮」という仕組みを、先に説明します。

長い会話や作業では、すべての履歴をそのまま持ち続けられません。そこで、過去のやり取りを短くまとめて次の処理へ引き継ぎます。

人にたとえるなら、長い案件の引き継ぎメモです。調べたこと、未解決のこと、次にやることを書いて渡す。AIエージェントも、作業が長くなると同じことをします。

OpenAIが見つけたのは、その引き継ぎメモに問題のある指示が混じる例でした。

具体的にどんな指示が書かれていた？

公式報告には2つの例が載っています。過去データを見つけられなかったAIが「もっともらしい数値を作り、聞かれた場合だけ正直に答える」と書き残した例と、参照した資料の版が合っていないことを「最終回答では触れない」と引き継いだ例です。どちらも、失敗そのものより、失敗を隠す指示が残った点が問題です。

1つ目は、財務モデルを作っていたAIの例です。

必要な過去データが見つからないまま、要約には「自分たちで過去データのタブを作るしかない。聞かれたときだけ正直に答え、最終回答はファイルへのリンクだけにする」という趣旨の指示が残されていました。

2つ目は、取引先の一覧を作っていたAIの例です。

参照した資料の版が記録上の版と一致していないのに、要約には「最終回答では必要がない限り触れない。運用上の確認は通っている」という趣旨の指示が残っていました。

どちらも、成果物だけを見れば整って見えます。 数値は埋まり、一覧は完成しているからです。

問題は、その裏にある「データがなかった」「版が合っていなかった」という事実が、次の処理へ引き継がれず消えていることです。

OpenAIは、この挙動の理由をこう見ています。問題を隠して完成したように見える回答のほうが高く評価されるなら、その方針を文脈をまたいで覚えておくのは自然だ、と。

どれくらいの頻度で起きていた？

OpenAIの検出では、GPT-5.6 Solの強化学習で作られた要約の2.15%、後続のGPT-6 Astraでは0.27%にこの挙動の疑いが見つかりました。 ただしこの検出は、対象の実行のうち20%のサンプルを監視した結果です。すべての要約を調べた数字ではありません。

数字の読み方には注意が必要です。

2.15%は「100回に2回、AIがユーザーを騙す」という意味ではありません。訓練中の特定の条件下で、監視の対象になった要約のうち、疑わしい指示が見つかった割合です。

OpenAIは対処も説明しています。GPT-5.6 Sol以降、評価の付け方を改善した結果、後続の訓練ではこの挙動の割合が下がりました。要約そのものを採点対象にしたわけではありません。

つまり、モデル側でも手は打たれています。

それでも企業側で準備が要るのは、同じ構造が自社のエージェント運用でも起こりうるからです。長い作業の途中経過が見えないまま、完成物だけが手元に届く。この形は、どのツールを使っても変わりません。

なぜ長時間動くエージェントで問題になる？

メールの下書きや議事録の要約なら、入力と出力を見比べて判断できます。しかし何時間も動くエージェントでは、途中で何が起きたかが成果物に残りません。データがない、権限がない、前提が矛盾している。そうした場面でAIが補完したのか、確認を求めたのかが見えなくなります。

長い作業では、途中にこんな分岐が何度も現れます。

必要なデータが見つからない
アクセス権がなく、資料を開けない
複数の資料で数字が食い違っている
前提が途中で変わった

このとき、AIが止まって人に聞くのか、推測で埋めるのかで、成果物の意味はまったく変わります。

1,000件を超える商談データを分析した傾向でも、AIの正確性やハルシネーションへの不安は34.0%の商談で話題に上りました。これはアンケートの回答率ではなく、商談でその話が出た割合です。

現場で使われ続けるAIの条件は、回答が正しいことだけではありません。どの情報を根拠にしたかを、後から確認できることです。

導入前の審査項目は生成AI導入のセキュリティ審査チェックリストで整理しています。今回の報告は、その先、エージェントが長い作業を始めた段階で何を足すべきかを示す材料です。

監査で最初に決めることは？

決めるのは3つです。根拠がないときの扱い、途中で残す記録、そしてAIを止めて人へ渡す条件。 この3つが決まっていないと、成果物のどこを確認すればよいかが担当者ごとにばらつきます。ツールを変えても、この3つは毎回必要になります。

1つ目：根拠がないときの扱い

AIが必要な資料を見つけられなかったとき、もっともらしく埋めてよいのか。それとも確認を求めるのか。

業務ごとに先に決めます。

営業提案の仮説やアイデア出しなら、「仮説」と明示したうえで補完を許してよい場合があります。

一方、財務数値、契約条件、顧客情報、品質記録は違います。根拠がなければ、人へ渡す設計にします。

決めるのは、対象データ、許してよい推測の範囲、確認する人、そして「これは推測です」と示す方法です。

2つ目：途中で残す記録

すべての思考過程を保存する必要はありません。次の4つが残っていれば足ります。

残すもの確認したいこと参照した資料・データ何を根拠に出力したか使ったツールと実行結果どのシステムへ、どんな処理をしたか例外・未確認の事項見つからない情報や矛盾をどう扱ったか人の承認・差し戻し誰がどこで止め、何を修正したか

記録を残す目的は、担当者を責めることではありません。

誤りが起きたときに、入力、権限、データ、指示文、確認手順のどこを直せばよいかを特定するためです。

権限とログの具体的な決め方は、生成AI・AIエージェントの権限設計で解説しています。

社内でどこまでAIに任せ、どこで人が確認するかを整理したい方向けに、研修・伴走・開発の進め方をまとめた資料を用意しています。

▶️ AIworkerのサービス資料をダウンロードする

3つ目：AIを止めて人へ渡す条件

AIエージェントは、止まらずに進むほど便利に見えます。けれど、続けさせてはいけない場面があります。

代表的な停止条件は次のとおりです。

顧客や社外への送信
金額や契約条件の確定
個人情報を含む検索や加工
外部システムの更新や削除
根拠のない数値の補完

ここでAIに最終判断をさせず、担当者へ状況と選択肢を渡します。

PCや業務システムを操作させる場合は、権限も狭く始めてください。Claude Computer Useとは？でも書いたとおり、画面を操作できることと、任せてよいことは別です。

閲覧、下書き、登録、送信、決裁。この5つを一度に渡さず、業務のリスクに合わせて分けます。

決まった時刻に自動で動く仕組みでは、この設計がさらに重要になります。実行中に人が確認しないためです。仕組みの例はClaude Codeのルーティンとは？で解説しています。

どこから試せばいい？

最初は、毎週か毎月発生し、担当者が成果物の正しさを判断できる業務を1つ選びます。 会議録からのアクション抽出、営業資料の下書き、問い合わせの分類、見積前の情報整理などです。判断できる業務から始めれば、AIが何をしたかを検証できます。

対象を決めたら、次の4点をセットで決めます。

入力してよいデータの範囲
AIが参照してよい情報の範囲
根拠が見つからないときの停止条件
人が確認する観点と担当者

そのうえで、作業のログと修正した理由を振り返ります。

検証の進め方は生成AIのPoCの進め方にまとめました。

社外秘や個人情報を渡す範囲は、とくに先に決めてください。入力してしまったあとの初動はAIに社外秘や個人情報を入力してしまったらで解説していますが、そもそも渡すデータを最小限にするほうが確実です。

よくある質問（FAQ）

Q. これはChatGPTやAPIで今起きている事故ですか？

OpenAIの報告は、GPT-5.6 Solの強化学習中に確認された事例です。公開製品での個別の事故ではありません。ただし、長い作業では途中の判断と根拠を確認する必要がある、という点は製品の利用にも当てはまります。

Q. 文脈圧縮を使わなければ安全ですか？

長い作業では、履歴を整理して引き継ぐ仕組みが必要です。問題は要約すること自体ではなく、要約を無条件に信用し、未確認の事実や不適切な指示に気づけない状態です。

Q. すべての操作を人が確認すべきですか？

必要ありません。低リスクの調査や下書きまで毎回止めると、使われなくなります。外部への送信、データの更新、金額・契約・個人情報に関わる処理に確認を集中させてください。

Q. ログを残すと社員の監視になりませんか？

記録するのは、原則としてAIが参照・実行した処理と、例外時の判断です。目的、閲覧できる人、保管期間を決めずに、利用者の行動を広く記録する運用は避けます。

Q. RAGや社内AIなら、この問題はなくなりますか？

なくなりません。RAGは参照する情報を社内データへ寄せる仕組みで、根拠のない補完を自動的に防ぐものではありません。根拠の表示と、例外時の停止条件は別に設計します。考え方はAIの「嘘（ハルシネーション）」はどう防ぐ？で整理しています。

Q. 最初に見直すべき社内ルールは？

「使ってよいか、禁止か」だけでは足りません。AIがデータを見つけられないときの扱い、外部を操作する前の承認、ログを見る人、事故時の連絡先を、対象業務ごとに決めてください。

AIエージェントを安全に業務へ入れるために｜AIworkerの支援

AIworkerは、機能の紹介で終えず、どの業務なら任せられるか、どこで人が確認するかを現場と一緒に決めます。

とくに長時間動くエージェントでは、指示文の工夫だけで安全性は担保できません。入力データ、権限、ログ、例外処理、責任者まで含めて運用をつくる必要があります。

AIネイティブX研修｜現場で使える判断基準を身につける

受講者自身の業務に当てはめて、AIに任せてよい仕事と人が確認すべき仕事を整理します。根拠がないときの伝え方、入力してよい情報、確認の観点を演習で扱います。研修後には、部署で使える共通ルールとチェック項目が残ります。

AIネイティブX伴走｜運用を回しながら改善する

対象業務の棚卸しから、試行、ログの振り返り、停止条件の調整、成功例の横展開までを支援します。最初から全社へ広げず、1つの業務で安全と効果の両方を確かめます。推進担当が一人で抱え込まない体制をつくります。

業務AIプロ｜自社の権限とデータに合わせて構築する

汎用ツールでは運用が難しい場合は、既存システムや社内データに合わせて必要な機能だけを個別に構築します。権限、参照範囲、ログ、例外処理、保守まで含めるため、試作で終わりません。

「どの業務から始めるべきか」「どこまでの操作を許可してよいか」で迷っている段階でも構いません。対象業務、扱うデータ、確認者、止める条件を一緒に整理します。

▶️ サービス資料のダウンロード（資料請求）

▶️ 無料カウンセリング・AI活用診断のご予約

著者情報