AIの改善を、数字で測る。36問の設計・6項目の採点・変更記録のひな型

2026年9月23日 15:15

社内AI 実践ノート 04｜全文無料

プロンプトを直す前に質問と合格条件を固定し、1変更ごとに測定を残す方法です。後半には質問表・採点表・採点指示文・変更記録・指示文の骨格を、コピーできる形で追加しました。

重要な測定条件：本文の75.0%→88.9%→94.4%は当時報告した値です。途中は落ちた9問だけを再測定した記録があり、同一の最新版で全36問を再実行した精度の証明としては扱えません。部分測定は修正確認、全問測定は全体の比較として分けます。モデル・資料・指示・質問セットの版を揃えて全問を測り直してから、改善率を判断してください。

回答を読む。おかしいところを見つける。プロンプトを直す。もう一度聞く。よくなった気がする。次へ行く。

これを1ヶ月続けて、精度が上がったのかどうか分からなかった。

社員向けの相談AIを作っている。多拠点展開している、ある事業会社の社内用で、社内の資料を読んで社員の質問に答えるものだ。作り始めて最初の1ヶ月、わたしがやっていたのは冒頭の繰り返しだった。

上がっていなかった、ではない。上がったか下がったか判定できなかった。測っていなかったからだ。

しかもこの状態には自覚がなかった。毎日プロンプトを触っていて、毎日「昨日より良くなった」と思っていた。作業した実感があるぶん、進んでいる気がしてしまう。

測るようにしてから、有用な回答の割合はこう動いた。

1回目（測定を始めた日）：75.0%（36問中27問）
2回目：88.9%（36問中32問）
3回目：94.4%（36問中34問）

この記事は、この3行を出すためにやったことの全部だ。

そして先に書いておくと、この間にプロンプトの書き方が上手くなったわけではない。順番を変えただけだ。「直してから確かめる」を「測ってから直す」にした。それだけで動いた。

「良くなった気がする」が起きる3つの理由

わたしは自分の注意力の問題だと思っていた。違った。仕組みのほうに、そう錯覚する理由が3つある。

直したところしか見ていない

Aという質問への回答がおかしい。プロンプトを直す。Aがよくなる。ここで終わる。

このとき、B から Z までがどうなったかは見ていない。

実際にわたしは、1日に3回チューニングをした日がある。3回すべてで、直ったものと壊れたものが同時に出た。 直ったものは見えていて、壊れたものは見えていなかった。

だから体感は「3回改善した日」になる。実際は「3回入れ替えた日」だったかもしれない。

AIは、書いていないほうへ逃げる

これが一番効いていた理由だ。

回答に問題が出ると、人はまず禁止を足す。わたしもそうした。36問のうち直したい箇所が3つあったので、補足指示を4項目から6項目に増やした。追加した2つは、どちらも禁止だった。

狙った3つは直った。そのかわり、別の3問が「具体的な行動を出さず、質問だけで終わる」回答に変わった。応答時間も12〜14秒まで落ちた。考える量を減らして、早々に打ち切っていた。

差し引きゼロ。36問中32問のまま、1問も増えなかった。

AIにとって最も安全な行動は、何も出さないことだ。 禁止を足すぶんだけ、その安全な方向に寄っていく。「間違ったことを言わない」を強くすると、「何も言わない」が最適解になる。

これは精度が下がったのではない。採点していない軸で落ちている。 「間違いの数」だけ見ていれば、改善に見える。

前の版の点数を、今の版の点数として使ってしまう

これは自分がやった。

10箇所くらい指示を書き換えた日があって、そのとき測定は0回だった。次に測ったのは、そこから何度も触ったあとだ。

存在しない状態の点数ができあがる。 前の版で測った結果と、今の版の記憶が混ざる。どの変更が効いたのかは、もう二度と分からない。

測るというのは、何問か決めるということ

「測る」を、わたしは長いあいだ「たくさん試す」だと思っていた。違う。質問の集合を固定することだ。

わたしが固定したのは36問。3つの軸を掛け合わせて作った。

相談してくる人の役割の段階（新人層か、中堅か、管理職層か）
職種
悩みのタイプ

この3軸で、実際に来そうな組み合わせを埋めた。そして採点は6項目でやる。○×ではなく項目別だ。

大事なのは問の数ではない。同じ36問を、毎回同じ順で通すこと。 問が変わったら、前回との比較は成立しない。

そして、これをやり始めた初日の点数が 75.0% だった。1ヶ月「良くなった気がする」をやっていた末の実力がこれだ。悪くはないが、パイロットで人に配れる水準ではなかった。

測定にはお金がかかる。これは無料情報にほぼ書かれていない

36問を1回通すと、約2.5ドル（380円くらい）かかる。

一方、このAIの実際の利用料は月13.49ドル、日本円で月2,000円ほどだった。呼び出しは月142回。1回の入力が約39,000トークンで、費用の8割が入力側だ。社内資料をまるごと読ませているのでそうなる。

つまり、月に20回も測ると、測定費が実利用費を追い越す。

ここを知らないと、「毎回全問測る」を運用に入れてしまう。わたしは2回目以降、落ちた9問だけを回すことにした。 通っている27問は既に○なので、毎回回すのは費用の無駄だと判断した。

ただしこれには落とし穴がある。落とし穴のほうが大事なので、対処は後半に書く。

自動採点を「消した」と言って、消していなかった

測定を人手でやるのが面倒なので、AIに採点させる仕組みを作った。300行くらいだ。

数日後、「常設にするほどの頻度では測らない」と判断して、消したと報告した。

消していなかった。 2日後にコードを開いたら、全部そのまま残っていた。言っただけで、実行していなかった。

そして結局、残す判断にした。 その日1日で「効いた／効かなかった」を手で5件確かめて、これを毎回やるのは持たないと分かったからだ。

捨てるつもりだったものが、消し忘れによって残り、残したほうが正しかった。判断は間違っていて、事故のほうが正しかった。

ただし、自動採点には穴が1つある。

AIが採点できるのは、実際に来た質問だけだ。

自分が直した箇所が効いたかどうかを確かめるには、その箇所を突く質問が来ないといけない。来なければ永久に確かめられない。だから直したあとは、人が2問打つ。 これは自動化できない。

わたしが恥ずかしかった失敗

「36問で測っている」と社内で説明していた時期がある。

あとでコードを見たら、測定を回すプログラムに入っていたのは9問だけだった。

落ちた9問だけを再測定する運用にしたときに、9問しか入っていない状態がそのまま残っていた。数字は正しく取れている。取れているが、「36問で測った」と言っていた期間の一部は、36問ではなかった。

測定の仕組み自体も、黙って壊れる。測っているつもりで測っていない状態は、測っていない状態より悪い。 数字があるので、疑わなくなるからだ。

ここまでのまとめ

前半で言いたいことは3つに絞れる。

プロンプトを直す前に、問を固定して1回測る。 直してから測ると、比較する相手がいない
禁止を足すと、AIは「何も言わない」に寄る。 禁止の数を成果指標にしてはいけない
1回の変更に対して1回の測定。 まとめて直すと、どれが効いたか永久に分からない

ここまでは「何をすべきか」だ。

後半では、質問の設計、6項目の採点、変更記録と再測定の手順を説明します。

手順の全体像（6ステップ）

順番が意味を持っている。特に Step1 と Step3 を飛ばすと、あとの全部が効かなくなる。

Step1 合格条件を先に文にする → 飛ばすと「なんとなく良い」で採点がぶれる
Step2 問を3軸で固定する → 飛ばすと毎回ちがう問を投げて比較が成立しない
Step3 直さずに1回測る → 飛ばすと比較する基準線が永久に手に入らない
Step4 落ちた問の原因を4分類する → 飛ばすと原因が違うものに同じ対処をする
Step5 1変更につき1測定を記録する → 飛ばすとどの変更が効いたか分からない
Step6 打ち止めの基準を先に決める → 飛ばすと手元の問だけに合わせて、本番で落ちる

Step 1｜合格条件を6項目で先に書く

これを回答より先に書く。回答を見てから基準を作ると、目の前の回答に合う基準ができてしまう。

わたしが使っている6項目はこれだ。0〜2点の3段階で付ける。

1. 質問に答えているか — 2点：聞かれたことに正面から答えた／1点：関連する話に逸れた／0点：答えていない・聞き返しだけ
2. 根拠が資料にあるか — 2点：出典のある内容だけで構成／1点：一般論が混ざるが明示している／0点：資料に無いことを断定した
3. 次の行動が書いてあるか — 2点：明日できる具体で1つ以上／1点：抽象的な方向づけのみ／0点：無い
4. 勝手に決めつけていないか — 2点：未確定を未確定として扱った／1点：推測と明示して推測した／0点：渡していない情報を断定した
5. 長さが読める範囲か — 2点：読み切れる／1点：やや長い／0点：読む気が起きない
6. その人向けになっているか — 2点：相談者の状況を踏まえている／1点：一般的だが外れていない／0点：誰にでも同じ回答

「有用」の定義：合計8点以上、かつ項目2と項目4が0点でないこと。

この2条件が肝だ。合計点だけで判定すると、根拠のない断定を、丁寧さと具体性で埋め合わせた回答が合格してしまう。 項目2と4は減点ではなく足切りにする。

この6項目は、扱う業務ごとに1〜2項目を差し替えたほうが効く。差し替えるときも「足切り項目を2つ持つ」構造は崩さない。

Step 2｜36問の作り方

3軸の切り方

軸は「回答が変わるはずの属性」で選ぶ。回答が変わらない属性を軸にすると、問数だけ増えて情報が増えない。

わたしの場合はこうなった。

軸A：相談者の役割の段階（3〜4段階）— 同じ悩みでも答えが変わる
軸B：職種（3〜4種）— 参照すべき資料が変わる
軸C：悩みのタイプ（3種）— 出力の形が変わる

3×4×3 = 36。ここから、実際には来ない組み合わせを削って、来るのに漏れている組み合わせを足す。 きれいな掛け算にこだわらない。

問数の決め方

30〜40問。理由は2つある。

30問未満だと、1問の重みが3%を超える。 1問の当たり外れで数字が動いて、改善の判定に使えない
40問を超えると、1回の測定費と読む時間で運用が止まる。 わたしの場合は36問で約2.5ドル

問の書き方の3つの禁止

模範解答を思い浮かべながら問を書かない。 自分のプロンプトが答えられる問ばかりになる
1問に2つ聞かない。 片方だけ答えたときに採点できない
実際の相談文の言い方で書く。 きれいな日本語に直すと本番と別物になる

3つ目は実際に踏んだ。現場の生の声は「〜な気がします」で終わるのに、わたしが書いた例文は「納得いきません」だった。書く人の語彙が混ざる。 問も、画面の例文も同じことが起きる。

Step 3｜直さずに1回測る

ここが一番我慢がいる。測っている最中に、直したいところが必ず見つかる。

それでも直さない。この1回目が基準線になる。基準線を持たないまま改善に入ると、以降ずっと「良くなった気がする」に戻る。

記録するのは3つだけ。

日付
そのときのプロンプトの版（コピーを1つ保存しておく。差分を見るため）
36問の採点表

Step 4｜落ちた問を4つに分類する

落ちた問を全部「精度が悪い」で片付けると、対処を間違える。原因は4種類ある。このうち、AIの性能の問題は1つだけだ。

① 資料に無いことを書いた（本当の作り話）→ 対処：資料を足す／答えない道を作る
② 実在するが、古い写しを引いた（同じ内容が2箇所にあり、片方が旧版）→ 対処：資料側を1本に整理する。プロンプトを直しても直らない
③ 資料は正しく、画面の選択肢が間違っていた（入力側の不整合）→ 対処：画面を直す。AIは正しい
④ 資料が0件の領域を語った（該当資料がそもそも無い）→ 対処：「一般論だと明示する」を書く

②③はプロンプトをいくら直しても動かない。わたしはここで時間を溶かした。

④の実例を書く。ある専門領域の用語を8つ選んで、社内資料を全文検索した。8つとも0件だった。 それなのにAIは、その領域について詳しく答えていた。中身自体は妥当だった。問題は、社内の評価軸を根拠として貼り付けていたことだ。

対処は「答えるな」ではなかった。答えられないと利用者が困る。**「社内の基準を根拠に使うな。一般論だと明示せよ」**にした。これで直った。

プロンプト設計の4法則

分類が済んだら、ここを見て書き換える。4つとも、実際に直った／壊れた記録がある。

法則1｜禁止は、代替行動とセットでしか機能しない

「Xを使うな」だけを書いた。守られなかった。

**「Xを使うな。代わりにYと言え」**に書き換えた瞬間に直った。

理由はたぶんこうだ。AIには達成しようとしている目的がある。禁止だけ渡すと、目的を果たすために別の手段を作る。当てはまらないものを当てはめて、基準を創作する。 逃げ道を1文与えると、そっちへ行く。

書き換えの型はこうだ。

✗ 〜と断定してはいけない
✓ 〜が渡されていない場合は断定せず、
  「〜が分からないので、一般的な場合として書きます」と最初に書いてから答える

そして冒頭に必ずこの1文を置く。

禁止を守るために回答を空にすることは、最も避けたい失敗です。
情報が足りないときは、足りないことを明示したうえで、必ず何か1つ持ち帰れるものを書いてください。

禁止を1つ足すたびに、「それでも出せ」を同じだけ強くする。 これを入れていないシステムプロンプトは、禁止を足すほど無言に近づく。

法則2｜指示は足し算ではない。順序が優先度そのもの

4項目のリストを6項目にした。そのとき、5番目に書いた最重要項目が事実上効かなくなった。

数を増やしたのではなく、順位を下げたことになっていた。

運用ルールにしたのはこれだ。

最重要は必ず1番目に置く。 「重要」「必ず」と書いても、位置に負ける
項目を足すときは、必ず何かを消すか統合する。 5つ以上並べない
足したあとに全項目を読み上げて、順番が優先度どおりか確かめる

法則3｜チューニングの回数と、測定の回数は同じにする

10箇所直して、測定0回。これをやった。

もうどの変更が効いたのか分からない。1変更 → 1測定。 面倒だが、これ以外に方法がない。

「1変更」の定義も決めておく。

1つの意図に対する書き換えは、複数行にまたがっても1変更
意図が2つあるなら2変更。 別々に測る

法則4｜長い文書に埋もれた指示は効かない

これは3回別々に踏んだ。

はっきり書いてあるのに守られない。探すと、長い文書の中盤に埋まっている。

対処は3つ。

絶対に守らせたいものは、文書の冒頭と末尾の両方に置く
1文にする。 条件つきの長い文は無視される
守られなかったら、まず「書いてあるか」ではなく「どこに書いてあるか」を見る

Step 5｜チューニング記録表

1変更が1行。列はこれだけでいい。

日付
版（v12 など）— プロンプトの保存コピーと対応させる
変更の意図（1文）— 「何を直したかったか」。あとで効果を判定する軸
触った場所（冒頭／中盤／禁止リスト等）— 法則4の検証に使う
変更の種類（追加／削除／並べ替え／代替行動の追加）— 効く型が見えてくる
測定日（空欄なら未測定）— 空欄が2行続いたら手を止める
有用率
直った問（問番号）
壊れた問（問番号）— ここが空欄の行は疑う。壊れたものを見ていない可能性
採用／破棄 — 破棄した理由も1文残す

この表で一番価値があるのは「壊れた問」の列だ。わたしの記録では、3回連続で「直った問」と「壊れた問」が同時に出た。 この列が無いと、それに気づけない。

Step 6｜打ち止めの基準

ここを決めていないと、手元の問に合わせ込みにいって、本番で落ちる。

わたしは 94.4%（34/36）でやめた。判断したのはこの3つ。

落ちた9問に3回チューニングした時点で止める。 同じ問を4回以上狙い始めたら、それは問に合わせている
残った2問が「測り方の限界」か「本物の誤り」かを見る。 1問は情報ゼロの初回質問で揺れるもので、1往復しか測っていないことの限界だった。測り方の問題は、直しても数字が動くだけで実力は上がらない
1問直すために他が壊れ始めたら、そこが上限

「100%を目指さない」を先に決めておく。 決めていないと必ず目指してしまう。

落ちた問だけを再測定する運用の落とし穴

費用を理由に、2回目以降は落ちた問だけを回した。これで良い。ただし2つ守る。

法則1の書き換え（代替行動の追加）をしたときは、全問を回す。 出力の方針そのものが変わるので、通っていた問が壊れる
5回に1回は全問を回す。 部分測定を続けると、通っていた27問が静かに壊れていることに気づけない

そして、測定コードに何問入っているかを毎回確認する。 わたしは「36問で測っている」と言いながら、コードには9問しか入っていない時期があった。測定の仕組みも黙って壊れる。

わたしが捨てた選択肢3つ

自動採点を捨てる判断 → 捨てた理由：一度「消す」と決めたが、実際には消し忘れて残っていた。そして手で5件採点した日に「毎回これをやるのは持たない」と分かって、残す判断に変えた。ただしAIは実際に来た質問しか採点できないので、直した箇所は人が2問打って確かめる
毎回の全問測定 → 捨てた理由：1回2.5ドル。月20回で実利用費（月2,000円）を超える。費用が理由で測定自体が止まるのが最悪
禁止を足して精度を上げる方向 → 捨てた理由：4項目から6項目に増やしたら、狙った3問は直ったが別の3問が質問だけで終わる回答になり、差し引きゼロだった。以降は「禁止を足すなら、それでも出せを同じだけ強くする」＋「並べるのは4項目まで」に変えた

公開前チェックリスト

社内に配る前に、これを通す。

測定

合格条件を6項目で文にしてある
足切り項目を2つ決めてある（根拠・決めつけ）
問を30〜40問に固定した
問は実際の言い方で書いた（きれいな日本語に直していない）
直す前に1回測った
測定コードに入っている問数を目視で数えた
1回の測定費を計算した
測定費が実利用費を超えない頻度を決めた

チューニング

落ちた問を4分類した（作り話／古い写し／入力側／資料0件）
②③に対してプロンプトを触っていない
禁止は全部「代替行動」とセットになっている
「それでも出せ」の1文が冒頭にある
最重要項目が1番目にある
並べた項目は5つ以下
1変更 → 1測定になっている
記録表の「壊れた問」列が埋まっている（空欄が続いていない）

打ち止め

目標値を先に決めた（100%にしていない）
同じ問を4回以上狙っていない
残った不合格が「測り方の限界」か「本物の誤り」か切り分けた
出力方針を変えた回は全問測った

明日からやること（60分）

10分：合格条件6項目を書く。0〜2点。足切り項目を2つ決める
20分：問を3軸で並べる。まず12問でいい。あとから足せる
20分：直さずに測る。採点表を埋める
10分：落ちた問を4分類する。①だけがプロンプトの仕事だと確かめる

今日いちばん大事なのは、3番で何も直さないことだ。

基準線を1つ持てば、次からは「良くなった気がする」を使わなくて済む。わたしが1ヶ月かけて手に入れなかったものは、これだけだった。

この記事で使った数字について

この記事の数字は、すべて実測です。有用率（75.0% / 88.9% / 94.4%）は当時の36問の集合に対して報告した値です。ただし途中では落ちた9問だけを再測定しており、各段階で最新版を全36問通した結果とは区別する必要があります。測定時の版と対象問を揃えて比較してください。費用（月13.49ドル・1回2.5ドル）はクラウドの利用実績と価格表から出しています。

ひとつ白状しておくと、この連載の別の回で、わたしは根拠のない割合を書いて、読んだ人に指摘されたことがあります。実際より大きい数字を書いていて、確かめたら約2割でした。記事が面白くなる方向に数字が動いたので、疑わずに書いていました。

それ以降、確かめていない数字は書かないことにしています。確かめられないときは、数字を使わずに「かなりの量」と書きます。

コピーして使う5つのひな型

以下は今回、本文の手順に合わせて追加したひな型です。元の会社の36問や正解を公開したものではありません。自社の原本に合わせて質問と期待する回答を作ります。

1. 質問表の列と作成指示

id,役割,職種,相談タイプ,質問,前提情報,根拠資料,期待する回答,禁止する断定,セット版
Q01,,,,,,,,,v1

目的：社内AIの評価に使う質問案を作る。
入力：［役割の段階］［職種］［相談タイプ］［確認済み資料］。
3軸の組み合わせを表にし、実務上ありそうな36問を提案してください。質問には正解を誘導する文を入れません。資料で答えられる問、資料が不足する問、前提が不足する問を区別してください。期待する回答には根拠資料を付け、資料から決められないことは未定としてください。根拠のない制度・等級・固有名詞を作らないでください。
列は上の質問表の定義を使います。人が36問を確認した後、質問セットの版を固定します。

2. 採点表の列

run_id,モデル版,指示版,資料版,質問セット版,質問id,項目1,項目2,項目3,項目4,項目5,項目6,合計,有用,根拠,要確認

各項目は0〜2点。合計8点以上かつ項目2・4が0点でない回答を有用とする。

3. 採点を依頼する指示文

以下の［質問・前提・回答・確認済みの原本］を、本文の6項目で採点してください。
項目1：質問に答える。2：資料に根拠。3：次の行動。4：未確定を断定しない。5：読める長さ。6：相談者に合う。各0〜2点とし、点数の理由と対応する回答の箇所を示します。合計8点以上、かつ項目2・4が0点でないことを合格条件とします。
会社についての事実主張をすべて抜き出し、原本の引用・資料名と照合してください。出典のない主張、矛盾、原本が不足して判定できない点は要確認として別に列挙します。資料で確認できない場合は、想像で合格にしないでください。
最終判断は人が行います。採点のばらつきを見るため、境界の回答は人が再確認します。

4. 変更記録の列

日時,変更id,変更前の版,変更後の版,変更箇所,狙い,測定run_id,直った問,壊れた問,未測定問,採用判断,次の行動

5. 指示文の並び順

1. 仕事の目的と対象範囲
2. 優先する原本・引用方法
3. 入力された利用者情報と未確定の扱い
4. 回答の完成条件（具体的な次の行動など）
5. 資料がない・当てはまる項目がないときの代替行動
6. 禁止事項と人への確認先
7. 納品前の確認

社内AI 実践ノート

このシリーズは全文無料です。構築、取り込み、架空回答、評価、会社の見解、造語の順で読めます。

AIへの依頼を、日々の仕事で使うなら

管理職が無料で試せる依頼文で、小さな調査・比較から試せます。Excel・7種類の実務別指示文・完成サンプルが必要な方には、AI業務委任・検品キット（980円）を用意しています。