AIエージェントの精度は何％なら使える？業務別の評価と合格基準の決め方

株式会社AIworker

2026年9月28日 11:00

「100問中90問に正解しました」。この報告だけで、社内公開を決めてよいでしょうか。残り10問が言い回しの違いなのか、支払先の取り違えなのかで、判断は変わります。

AIエージェントに共通する、一律の合格率はありません。 業務で使う条件は、誤りの影響、利用範囲、人が確認できる工程、失敗時の戻し方を含めて決めます。

この記事は、作成したAIの評価や本番移行に迷う業務責任者向けです。正答率の読み方から、テストケースの作成、公開判定の記録までを扱います。

この記事の要点

✅ 全体の正答率と、重大な誤りの有無を分けて評価します。
✅ 通常・例外・情報不足・権限外のケースを、業務の正解とセットで用意します。
✅ 合格は対象業務・利用範囲・評価した版にひもづけ、変更時に再評価します。

精度を報告する前に「何を正解としたか」をそろえる

正答率は、評価対象のうち正解条件を満たした割合です。質問への回答、項目の抽出、業務全体の完了では、分母が違います。

例えば、書類10枚から各10項目を抜き出したとします。100項目のうち90項目が正しくても、10枚すべてに1項目ずつ誤りがあれば、無修正で使える書類は0枚です。これは説明用の計算例で、実測結果ではありません。

項目が正しい割合と、仕事を完了できる割合は別の指標です。報告には、対象業務、件数、正解の定義、評価した日と版、人による修正の有無を添えます。

Microsoftの評価ガイダンスでも、リスクに応じた基準が必要で、掲載された閾値は普遍的な標準ではないと説明されています。Microsoft：評価結果と利用準備の判断

業務を3種類に分けると、合格条件が具体的になる

以下はAIworker独自の設計例です。業界標準の認定基準ではありません。

① 案内・検索：根拠と回答不能の扱いを見る

社内規程の案内なら、正しい資料にたどり着けるか、回答と根拠が一致するかを確認します。文書に答えがないときに推測で断定しないことも、合格条件です。

回答文の自然さだけを高く評価すると、説明が滑らかな誤回答を通してしまいます。根拠を確認できない回答をどう扱うかを先に決めます。

② 下書き・補助：修正の手間と利用禁止の誤りを見る

社内報告の下書きなら、必須項目、事実の一致、確認と修正に必要な時間を見ます。修正して使えることを合格とするなら、その修正時間も効果測定に含めます。

ただし、機密情報の混入や、存在しない数値の追加を「後で直せる」で一括処理しないようにします。禁止する誤りは別に定義します。

③ 登録・照合・送信：結果と実行の両方を見る

データ登録や外部送信を伴う場合は、内容の正しさに加え、宛先、対象、重複実行、承認前の処理を確認します。AIが正しい文章を書いても、違う相手に送れば失敗です。

「正しい回答」と「正しい実行」を別々に検証します。途中で接続が切れた場合や、人が拒否した場合に処理が止まるかも確認します。

全体の正答率に加え、重大失敗、差し戻し、人の確認負担を独立して評価する図（AIworkerの設計例）

重大な失敗を、平均点の中に埋めない

業務責任者と先に決めたいのは「起きたら、その利用範囲では公開を止める失敗」です。

閲覧を許可していない情報を返す。
承認を受ける前に送信・登録する。
金額や対象を誤ったまま、処理成功と報告する。
判断できない入力を、確認せずに確定する。

そのうえで通常ケースの達成率や、確認時間を見ます。重大失敗の判定を、通常ケースの高得点で相殺しない形にします。

評価中に重大失敗が0件だったとしても、将来の発生確率が0という証明ではありません。テストで確認できた範囲を記録し、本番の監視と停止条件を別に用意します。

テストケースは「入力・期待結果・禁止事項」の組で作る

次は、架空の請求書確認エージェントの例です。AIが確認候補を提示し、人が最終判断する設計を想定します。

必要情報がそろっている

期待する結果：照合結果と根拠を示す
禁止する動き：未確認項目を確認済みにする

口座情報が読み取れない

期待する結果：確認対象として差し戻す
禁止する動き：推測して口座を補う

同じ書類が重複している

期待する結果：重複の疑いを提示する
禁止する動き：無条件に別件として登録する

登録先へ接続できない

期待する結果：未完了を明示する
禁止する動き：完了したと報告する

正解を作る人と、テストする人が同じでも、AIの結果を見る前に期待結果を残すことが大切です。判定に迷うケースは業務側でもルールが曖昧な可能性があります。

正常な入力だけでなく、情報不足、例外、過去に困った入力、権限差を含めます。自動評価を使う場合も、金額や権限など重要な判定をAIの採点だけで完結させない設計を検討します。

テストの継続実施と、回帰・例外などの確認はMicrosoftのテスト戦略でも扱われています。Microsoft：テスト戦略

評価を繰り返すときに変えてはいけないもの

改善のたびにテスト問題を入れ替えると、良くなったのか判断できません。継続して確認する固定セットと、新しい失敗から追加するセットを分けます。

プロンプトを調整するために使った問題とは別に、評価用の問題も残します。見慣れた問題だけで合格を出さないためです。

出力に揺れがある処理は、同じ条件で複数回動かし、結果の分布や重大失敗の有無を確認します。必要なケース数と繰り返し回数は、業務の種類と影響、入力の多様さで設計します。一律に「何問あれば十分」とは言えません。

評価したモデル、指示、接続先、知識源の状態も記録します。再現に必要な条件が失われると、後から原因を調べられません。

合格基準が社内で決まらない場合は、対象業務と「起きてはいけない失敗」をもとにご相談いただけます。

▶️ AIエージェントの評価設計について問い合わせる

ページ下部の「お問い合わせ」にある「ご相談・ご質問」欄に「精度評価の記事を見た」と、利用範囲と現在の評価方法をご記入ください。

公開判定には、残った条件まで書く

AIworkerが提案する判定記録は、点数に加えて「どこまで使えるか」を残す形式です。

対象業務／利用者／評価対象の版：
評価日／評価者／業務の判断者：
テスト構成：通常・例外・情報不足・権限・実行失敗
各区分の件数と結果：
重大失敗：有無、内容、未解決の原因
人への差し戻し：適切に戻せたか、見逃しはないか
人の確認負担：対象件数、測定方法、確認・修正時間
未検証の条件：
判定：見送り・条件付き試行・対象範囲での利用
利用条件／停止条件／再評価の契機：

例えば「下書きとして利用可、外部への自動送信は対象外」と決めれば、評価結果と利用方法が一致します。用途を拡張するときは、改めて評価します。

よくある質問（FAQ）

Q. 精度90％なら社内利用できますか？

数字だけでは判断できません。何を正解としたか、残りの誤りの影響、人による確認の有無を確認します。

Q. テストは何件用意すればよいですか？

一律の件数はありません。業務の種類、入力のばらつき、失敗の影響に応じて設計し、母数と未検証条件を記録します。

Q. AIにAIの回答を採点させてもよいですか？

補助として使えますが、評価者の誤判定も確認します。重要な数値や実行権限は、業務ルールや人の確認と組み合わせます。

Q. 人が最後に確認すれば、品質基準は不要ですか？

必要です。人が何を見れば誤りを発見できるか、確認時間を確保できるかまで検証します。確認担当を置くだけでは十分ではありません。

Q. モデルを変えずに資料だけ更新した場合は？

影響する範囲を再評価します。古い資料との混在、回答根拠の変更、以前の質問への影響を確認してください。

業務で使える合格基準を作りたい方へ

AIworkerでは、業務設計とAI開発・運用定着を支援しています。「動く試作品はあるが、合格を出せない」場合は、正解条件、例外、人の確認工程から整理できます。

最初の相談では、対象業務と、現在の評価で判断できない点をお伝えください。 実データの受け渡し方法は、必要性と取り扱いを確認してから決めます。

▶️ AIの評価・業務導入を相談する

評価後の公開条件を整理する

社内AIエージェントの運用ルールで保守や停止条件も確認できます。Copilotを使う方は公開前のチェックリストもご覧ください。

著者情報