AIエージェントの本番運用で何を確認する？監視・停止・復旧の設計例

AIの画面には「処理が完了しました」。ところが、顧客管理システムには記録がない。こうした食い違いを、本番運用ではどこで見つけ、誰が止めるのでしょうか。

AIエージェントの本番運用では、回答の品質に加え、権限どおりの実行、外部システムの結果、人へ戻した後の処理まで確認します。 監視項目だけでなく、停止条件と復旧手順を一緒に作ることで、問題を見つけた後の動きが決まります。

本記事は、すでにAIを試作・導入した事業責任者、DX担当者、情報システム担当者に向けた技術設計の補足です。導入前の合格基準は精度評価の記事で扱っています。ここでは、稼働後の一件を追跡する記録と、障害時の停止・再開を具体化します。

この記事の要点

✅ AIの完了メッセージと、外部システムで実際に起きた結果を分けて確認します。

✅ 一件ごとの処理IDに、参照資料・承認・実行・結果を結びつけます。

✅ 停止後は未処理と結果不明を分け、照合・再評価・限定再開の順で戻します。

監視するのは、モデルだけでなく業務の終わりまで

AIエージェントの運用監視とは、実際の処理結果や異常を記録し、業務を継続できる状態かを確かめることです。APIが応答したことだけで、仕事が成功したとは判定しません。

Anthropicの評価ガイドは、実行の記録と、環境に残った最終結果を区別しています。また、事前評価に加えて本番監視や人の確認を組み合わせる考え方を示しています。出典：Demystifying evals for AI agents

以下では「問い合わせを読み、回答案を作り、担当者の承認後に対応記録を登録するAI」を説明用に使います。AIworkerの特定顧客の構成や、障害の実例を紹介するものではありません。

この業務の完了は、指定した顧客に承認済みの対応記録が一件登録され、登録結果を確認できた状態です。 回答案ができただけなら「下書き作成済み」、登録結果を確認できなければ「結果未確認」と分けます。

一件の処理を、同じIDで追えるようにする

問い合わせIDだけでは、同じ問い合わせに対して何度試したかを区別できません。業務の対象を示すIDと、一回の処理を識別するIDを分け、外部システムの登録IDにもつなげます。

この例で残したい項目は、次の通りです。

• 入力：問い合わせID、利用者、開始時刻、対象業務。

• 構成：モデル、指示文、参照資料、接続設定を識別する版。

• 承認：確認した人、確認時刻、承認した内容の版。

• 実行：許可を確認した操作、連携先、処理の開始と終了。

• 結果：登録ID、成功・失敗・未確認、失敗した工程。

• 引き継ぎ：人へ戻した理由、対応担当、解消した時刻。

調査に必要な情報を残すことと、全文を保存することは同じではありません。 本文に個人情報や機密が含まれる場合は、識別子やマスキングした記録で調査できる範囲を検討します。保存期間、閲覧者、削除方法も運用設計に含めます。

資料を更新した直後から誤りが増えた場合でも、この記録があれば、どの版を使った処理で起きたかを切り分けられます。単に「AIの調子が悪い」という報告から、調べる対象を絞れる状態へ進めます。

精度・権限・例外処理を、別の指標で見る

一つの成功率にまとめると、見えなくなる失敗があります。本記事では、次の五つを分ける設計を提案します。業界共通の基準ではなく、対象業務に合わせて採否を決める項目です。

品質：正解だけでなく、修正の理由を見る

人が確認した回答案の件数に対して、事実誤りや古い情報による修正が何件あったかを記録します。表現だけの修正は別に数えます。抽出して確認した一部の結果なら、全件の精度とは呼びません。

権限：拒否できた操作と、誤って通した操作を分ける

権限外の操作要求を遮断したことは、防御が働いた記録です。一方、許可のない情報を表示したり承認前に登録したりした場合は、影響確認と利用制限の対象になります。

遮断件数と情報漏えい件数を同じ「エラー」にまとめない設計が必要です。 遮断が急増したなら、攻撃だけでなく利用権限や接続設定の変更も調べます。

例外処理：人へ戻した後の滞留を見る

情報不足で担当者へ戻す処理は、仕様どおりの場合があります。ただし、戻した案件が誰にも拾われなければ、業務は止まっています。未対応件数、最も古い待ち時間、担当者が決まらない件数を確認します。

実行結果：結果不明を成功にも失敗にも混ぜない

通信が切れた場合、登録だけは完了している可能性があります。結果不明の件数と、照合で解消できた件数を分けます。照合する方法がなければ、自動で再実行する範囲を狭める必要があります。

処理量と費用：一回ではなく一件の業務で見る

生成一回の時間や費用に加え、再試行と人の確認を含めた一件の処理を見ます。急増した場合は、入力の変化、繰り返し呼び出し、連携先の遅延などを調べます。

集計には対象期間、対象件数、分母、計測できなかった範囲を添えます。少数の結果を、運用全体の安定性として報告しないためです。

停止条件は、通知先と実行方法まで決める

「異常があれば通知する」だけでは、担当者が読むまで処理が続きます。すぐ止める条件と、通知して調査する条件を分けます。

即時に利用制限を検討する例は、権限外の情報表示、承認前の登録、別の顧客への書き込みです。この設計例では、該当機能の新しい外部操作を止め、影響のある処理を調べる運用にします。

傾向を見て調整する例は、待ち時間、修正の増加、担当者への差し戻しの滞留です。業務の許容時間と確認できる人数から警戒条件を決めます。全ての業務に同じ数字を当てはめることはできません。

止める対象も区別します。生成だけを止めるのか、外部への書き込みを止めるのか、新規受付を止めるのか。実行中の処理と待機中の処理をどう扱うかまで、開発段階で試します。

画面に停止ボタンを置くだけでは足りません。 すでに動いている処理が次の外部操作を実行しないか、別の経路から再開されないかも、テスト環境で確認します。

監視項目と停止操作を既存システムへ組み込む必要がある場合は、AIworkerの開発・運用相談窓口へ、現在の処理構成と困っている場面をお知らせください。

通信失敗のあと、すべてを再実行しない

例えば、承認済みの対応記録を送った直後に接続が切れたとします。ここで受付分を一括再実行すると、登録済みの記録まで作り直すおそれがあります。

この設計例では、次の順序で復旧します。

1. 新しい外部書き込みを止め、影響する処理IDを確保する。

2. 未実行、失敗確定、結果未確認、完了済みに分ける。

3. 結果未確認の処理を、連携先の記録や操作IDと照合する。

4. 再実行する対象と、重複を防ぐ条件を確定する。

5. 原因の修正をテスト環境で検証し、関連する正常系も再評価する。

6. 業務責任者が再開条件を確認し、対象を限定して再開する。

原因を直したことと、すでに起きた影響を解消したことは別です。 プログラムを前の版へ戻しても、外部へ登録したデータまで元に戻るとは限りません。記録の訂正や取り消しは、連携先の仕様と業務上の確認に沿って行います。

結果を照合できない案件は、人の確認に残します。再開できた処理と、未解決の処理を同じ「復旧済み」にまとめないようにします。

運用の引き継ぎで受け取る、六つの成果物

監視ツールの画面だけ渡されても、障害時の判断はできません。発注時に、次の成果物を対象業務に合わせて合意します。

• 処理の状態一覧：何を完了・失敗・未確認と呼ぶか。

• 記録項目の定義：IDのつながり、保存先、閲覧範囲、保存期間。

• 監視の設定：対象、分母、集計期間、通知条件、通知先。

• 停止手順：操作する人、止まる範囲、実行中案件の扱い。

• 復旧手順：結果照合、再実行の条件、未解決案件の引き継ぎ。

• 変更時の評価記録：どの版を何で試し、誰が再開を判断したか。

これはAIworkerが本記事向けに整理した成果物の例です。担当者が実際に停止・照合・再開の訓練を行い、手順だけでは分からない箇所を補うことをおすすめします。

権限と受入テストを発注前に整理する場合は、AIエージェント開発の見積もり前に決めることと合わせて使えます。

よくある質問（FAQ）

Q. 本番で全件を人が確認する必要がありますか？

全件確認が必要かは、誤りの影響と許容できる運用で決めます。低リスクの文章品質を抽出評価する場合も、権限確認や実行条件の検査を省く理由にはなりません。

Q. モデルを変えなければ、再評価は不要ですか？

不要とはいえません。参照資料、指示文、接続先、権限の変更でも結果は変わり得ます。変更した箇所と関連する業務を特定し、再評価する範囲を決めます。

Q. 人へ戻す件数が増えたら、精度が下がったのですか？

それだけでは判断できません。入力の種類が変わった場合や、以前は見逃していた不足を検知できるようになった場合もあります。差し戻し理由と、戻す判断が適切だったかを確認します。

Q. 監視製品を導入すれば十分ですか？

十分ではありません。製品に記録できても、業務の完了条件や再実行の可否は別に決める必要があります。収集する情報と、異常時に行う操作を先に定義します。

Q. 保守を外注すれば、社内の担当は不要ですか？

社内にも業務の判断者が必要です。外注先が技術的な復旧を担当しても、残った影響を受け入れて業務を再開する判断と、利用者への連絡は役割を決めておきます。

AIworkerへの開発・運用設計の相談

株式会社AIworkerは、「業務AIプロ」などを通じて、業務の整理からAI開発、導入後の運用・改善までを支援しています。

相談時には、対象業務、現在の処理の流れ、止まった場面、残っている記録、社内の確認担当が分かると、調査と改修の範囲を整理できます。障害が起きていない段階でも、運用へ渡す成果物の不足を確認する入口になります。

▶️ AIエージェント開発・運用設計のご相談

著者情報

株式会社AIworker。企業向けに業務特化型AI・AIエージェント開発、生成AI研修、導入後の伴走支援を提供しています。

株式会社AIworker 公式サイト

この記事が参考になりましたら、スキで教えていただけると今後の記事づくりの励みになります。

参考資料

• Anthropic「Demystifying evals for AI agents」（2026年10月3日確認）。実行記録と最終結果の区別、事前評価と本番監視の併用を参照。

• 株式会社AIworker 公式サイト（2026年10月3日確認）。サービスの提供範囲を確認。

#AIエージェント #AI開発 #システム運用 #業務改善 #AIworker