「ばらつき」の正体は運ではなかった——中小企業診断士試験の過去問でAI戦略エージェントを採点してわかったこと

「生成のたびに点数が違う」を、そのままにしていた

自作の戦略立案AIエージェント「AnchorStrategy」を検証するのに、中小企業診断士の二次試験の過去問を使っています。議事録を読み込ませ、複数のAIエージェントが分業してSWOT分析や戦略オプションを組み立て、最後に助言としてまとめる仕組みです。

同じ与件文・同じ設問を何度も生成させると、当然ながら毎回まったく同じ文章にはなりません。点数も回によってばらつきます。これまでその「ばらつき」は、生成AIである以上ある程度は仕方のないもの、として片付けていました。80点の回もあれば100点の回もあります。平均すればそこそこの出来、それでよしとしていました。

だが今回、米国版のケースで見つかったある発見をきっかけに、この「ばらつき」を改めて疑うことになりました。

米国版で気づいたこと

別記事に詳しく書きましたが、米国のケースで検証していたとき、合計点は78点前後で「まずまず」に見えるのに、設問の中の1つの採点項目だけが5回中4回で0点になっている、という現象を見つけました。他の項目が高得点だったせいで、合計点にすると系統的な失敗が埋もれて見えなくなっていたのです。

これに気づいてから、日本語版の過去の検証結果を見返す機会がありました。令和5年度事例II(スポーツ用品店のB社)を、同一設定で4回実行した記録です。これまでは「80点から100点の範囲でばらつく、生成AIらしい変動」とだけ記録して終わっていました。だが設問ごとの内訳を出し直してみると、実際には4問のうち3問はほぼ毎回満点で、第3問(プロモーション施策)だけが、4回中2回だけ満点、残り2回は同じ箇所が0点、というきれいな二極化になっていました。「ばらつき」の正体は、実はランダムな出来不出来ではなく、1つの設問が5割の確率で丸ごと失敗する、という再現性のある現象でした。

何が起きていたのか

問題の設問はこちらです。

議事録の要約自体は、実は正しくできていました。「女子メンバー獲得に向けた具体的なプロモーションおよびイベント案の策定」は、未決の論点としてちゃんと拾われています。問題はその先、戦略立案を担当するエージェント(strategist)が、この未決の論点を最後まで具体的な施策に落とし込むかどうかにありました。

満点だった回のレポートには、こう書かれていました。

フィッティング体験会、レンタルセット提供、と具体的な施策名が入っています。

一方、0点だった回のレポートでは、女子向けの戦略オプション自体は用意されているものの、こういう内容になっていました。

用具の加工・調整というモノづくりの話に終始していて、「メンバーを増やすためのイベントや集客施策」には触れていません。別の回では、女子向けの戦略オプションそのものが生成されず、議事録の未決論点のまま置き去りになっていました。

つまり、情報を受け取る入口(議事録要約)では毎回きちんと拾えているのに、それを戦略として組み立てる出口の段階で、「用具のカスタマイズ」という別の切り口に逸れてしまうか、「集客イベント」という本来求められている切り口に着地するか、回によって五分五分に揺れていた、ということになります。

米国版との共通点、違うところ

米国版で見つかった不具合は、そもそも情報が入口の時点で抽出されずに消えていた、という話でした。今回の日本語版のケースは、情報自体はちゃんと入口を通過しているのに、それを組み立てる段階で毎回同じように仕上がらない、という別の種類の不安定さです。原因のレイヤーが違います。

前者は「プロンプトの分類ルールに漏れがあった」という、直せば直る種類の不具合でした。実際、米国版は修正後3回連続で満点になっています。後者は生成AIが持つ、もう少し本質的な"揺れ"に近いもので、簡単には直せないかもしれません。

現時点での強み・弱み

今回の一連の検証を通じて見えてきた、このパイプラインの現状を正直に書いておきます。

強みとしては、まず検証の設計自体は健全だと思っています。文章を生成するAIモデルと採点するAIモデルを別ベンダーにし、採点する側にはこちらの意図やプロンプトを一切見せず、「必須の事実に触れているか」だけを機械的に判定させています。自己採点によるバイアスは避けられています。また、一度見つけた不具合のパターン(依頼の主語をいつのまにか自社都合にすり替えてしまう、といった過去の発見)を、別の言語・別のケースでも意図的に再検証する仕組みができていて、今回のように「見かけ上のばらつき」の正体を掘り当てられたのも、この仕組みがあったからです。

弱みは、まず単純に、同じ入力に対する生成結果の再現性がまだ低いことです。今回のケースのように、特定の設問だけコイントス的に成否が分かれる、という現象があります。次に、一度見つけた不具合を直しても、それが他の似たケースにも波及していないかの遡及確認がまだ追いついていません。そして、情報の分類ルールを「後から穴が見つかっては継ぎ足す」形で拡張してきているので、対症療法的な性格は否めません。今回4つ目の分類を足したところで、5つ目のパターンがいずれ出てくるだろうという自覚はあります。

この先

「ばらつき」を「まあ生成AIだから仕方ない」で済ませず、1問ずつの採点根拠まで掘り下げて初めて、本当に直すべき箇所が見えてきます。今回はそれを痛感した検証でした。次は、この第3問のような「情報は届いているのに組み立てで揺れる」タイプの不安定さを、プロンプトの工夫でどこまで減らせるのか、あるいはそもそも生成のたびに複数案を出させて選ばせる設計に変えるべきなのか、その検討に進みたいと思います。

AnchorStrategyは、議事録から戦略分析までを一気通貫で行うAIエージェントパイプラインです。ツールそのものの紹介は別記事にまとめています。よろしければあわせてご覧ください。

今回の採点結果や、AIが実際に生成したレポートの全文は、こちらのページでいつでも見られるようにしています。スコアの内訳から採点根拠まで、興味があれば覗いてみてください。 検証記録アーカイブを見る

AnchorStrategyを実際に試してみたい方へ。ご利用には、事前にメールアドレスのご登録が必要です。まずは下記の登録フォームからお申し込みください。 利用登録フォームはこちら

登録後、こちらからAnchorStrategyにアクセスいただけます。 AnchorStrategyはこちら