ChatGPTに提案書を直させたら、専用AI Agentがまたダメ出ししてきた【修正前後PDF公開】
前回は「レビューするところ」までだった
この実験は3回に分けて進めています。
第1回では、人間が提案書を見るときの判断工程を分解し、専用の商談資料レビューAgentを作りました。
▶ 第1回
AIに提案書レビューを任せるため、人間の判断工程を分解してみた
第2回では、同じ提案書をChatGPT・Claude・Gemini・専用Agentにレビューさせました。
▶ 第2回
ChatGPT・Claude・Geminiに同じ提案書をレビューさせた。専用Agentを作る意味はあった？【レビュー結果公開】
今回はその続きです。
レビューで指摘された内容を本当に直して、もう一度レビューしたらどうなるのか。
ここまで試してみます。
修正前の資料にはMust Fixが5件あった
今回使うのは、クラウドワークス応募用のポートフォリオとして作った、17ページの架空戦略提案書です。
元の制作過程はこちらで公開しています。
▶ AIでPPTを作ったら、noteの成長戦略までできた。【17ページPDF公開】
専用Agentが修正前の資料に出したMust Fixは5件でした。
Must Fix指摘内容1今回何を判断してほしいのか明示する2Experience Loopの定義を統一する3課題設定を仮説として明示する4Solution 01 / 02の関係を整理する5数値の比較基準・出所を明確にする
この時点では、Criticalが3件残っていました。特に大きかったのは、採否判断を求める資料なのに「今日は何を決めればいいのか」が明確ではないことです。
Agentの最終判定も、Must Fix 5件への対応を前提としたCONDITIONAL GOでした。
Agentに直接直させず、まず人間側で修正方針を決めた
ここで、
「レビュー結果をそのままChatGPTに渡して、全部いい感じに直して」
とはしませんでした。
Agentの指摘をもとに、どこをどう修正するかを人間側でかなり細かく決めてからChatGPTへ渡しました。
たとえばExperience Loopなら、
「定義を統一してください」
だけではありません。
P8を正式なMaster Definitionにして、
DISCOVER
→ READ
→ RESONATE
→ EXPRESS
→ REFLECT
→ CREATE
→ REWARD
→ LOOP
の8段階へ統一する。
他ページで短く見せる場合は、「Experience Loopの一部を表示している」と分かるようにする。
そこまで指定しました。
ほかにも、
「P14のGrowth LoopはP10へ統合する」
「Solution 01をENTRY、Solution 02をRETENTIONとして整理する」
「P15の後にDECISIONページを新規追加する」
など、ページ単位で修正仕様を書いています。
さらに重要なのが、分からないものをChatGPTに作らせないこと。
期間、人数、工数、費用、効果予測、KPI目標値など、確認できないものは勝手に補完せず、
[要確認：〇〇]
として残すよう明示しました。
つまり今回の役割分担は、
Agentが修正箇所を決め、ChatGPTが勝手に直した
ではありません。
Agentが問題を出す
→ 人間が修正方針を設計する
→ ChatGPTが編集を実行する
という形です。
ChatGPTへ渡したプロンプトはかなり長くなった
修正プロンプトでは、最初にゴールをこう置きました。
「戦略として面白い資料」から「相手が採否判断できる提案資料」へ改善するそして最後の完成条件も、
見た目が整ったかではなく、「相手が判断できる資料になったか」
としました。
細かく書いた結果、プロンプト自体はかなり長くなりました。
ただ、今回の実験ではここも成果物だと思っています。
AIに仕事を任せるとき、実際には「うまいプロンプトを一発で書く」というより、
レビュー結果を読み、人間が修正条件へ変換する
工程がかなり大きいからです。
記事末尾に、実際に使用した修正プロンプトも公開します。
修正後のPDFを見ると、かなり変わっていた
ChatGPTが修正したPDFも17ページです。
ページ数は増えていません。
旧P14を統合し、その代わりDECISIONページを追加したためです。
修正内容を見ていくと、Agentの指摘はかなり直接的に反映されていました。
まずP2。
修正前は戦略上の問題提起が、顧客側の課題なのか提案者側の仮説なのか少し曖昧でした。
修正後は、
HYPOTHESIS｜今回確認したい課題仮説
と明示。
さらに、
AGREEMENT POINT
として「まず、この課題仮説を検証対象として置くことが妥当かを確認する」と追加されています。数値についてもFACTラベルと対象時点が付きました。
Experience Loopは1つに統一された
P8には、
MASTER EXPERIENCE LOOP
というラベルを追加しました。
「この資料でExperience Loopと言う場合は、下記8段階を正式定義とする」
と明示しています。
P10も、別のLoopを作るのではなく、
Master Loopのうち、今回注目する2つの転換点
として整理されました。
さらに旧P14のGrowth LoopもP10へ統合しています。
これは、前回Criticalになっていた「中核概念の定義がページごとに違う」という問題への対応です。
2つの施策の関係も見えるようになった
Solution 01は、
STEP 1 / ENTRY
EXPRESS → CREATE
Solution 02は、
STEP 2 / RETENTION
CREATE → REWARD
としました。
つまり、
Experience to Article
→ Creator化の入口
First Meaningful Reach
→ 初投稿後の継続体験
です。
2つは連続しているものの、検証自体は別々に実施できることも明記しました。
P13にあった「PV：7」という出所不明の数字も削除。
「数字が大きい」ではなく、
誰かに届いた意味をCreator本人へ返す
という本来のメッセージへ戻しています。
一番大きく変わったのは「判断」と「止め方」
前回Agentが強く問題視していたのが、
何を決めればいいのか分からない
ことでした。
そこでValidationページには、各STEPへGO / STOPを追加しました。
たとえばSTEP01では、
「Expression経験者はCreator転換率が高いか」
を確認し、
仮説を支持する傾向が確認できなければ再設計またはSTOP。
一方、具体的な数値基準は作らず、
[要確認：継続判断基準]
として残しています。 note_growth_strategy_kira_portf…
そして新しく追加したのがP15のDECISIONです。
ここでは、
今回お願いしたいのは全体開発のGOではない。まずSTEP01の仮説検証を始めるかを判断する。
としました。
GOした場合のNext Actionも、
利用可能データの確認
→ 分析設計
→ インタビュー設計
→ 継続 / STOP基準の合意
まで入っています。 note_growth_strategy_kira_portf…
ここまで見ると、
「かなり直ったのでは？」
と思います。
そこで、同じ専用Agentへもう一度レビューさせました。
再レビューの結果は、またCONDITIONAL GOだった
修正後Agentの結果は、
79 / 100
CONDITIONAL GO
でした。 修正後のエージェントによる再レビュー結果
Criticalは1件。
Majorは4件。
Minorは5件です。
Agentは、FACT / HYPOTHESIS / PROPOSAL / EXAMPLEの分離や、GO / STOPを入れた検証設計、判断単位を小さくしたことを評価しています。 修正後のエージェントによる再レビュー結果
つまり、元のレビューで問題だった部分はかなり改善しています。
でも、GOにはなりませんでした。
残ったCriticalは、DECISIONページにあった
ちょっと皮肉なのが、今回新しく作ったDECISIONページそのものにCriticalが残ったことです。
本文では、
「STEP01を開始するか判断する」
と書いています。
一方、その右上に、
[要確認：今回求める判断範囲]
を残していました。
Agentはここを、
判断対象がまだ確定していない
としてCriticalにしています。 修正後のエージェントによる再レビュー結果
不明なものをAIに作らせなかったという意味では、[要確認] を残したのは意図どおりです。
ただ、採否判断を求める資料として見れば、
一番決めなければいけない部分まで「要確認」のままでは、結局決められない。
これは納得できる指摘です。
「分からないものを作らない」と「判断に必要なものを確定する」は、別の話でした。
さらに、修正したことで新しい弱点も見つかった
今回の再レビューで面白かったのはここです。
Agentは新たに、
資料が約束している範囲と、実際の施策範囲が違う
と指摘しました。
タイトルは「note利用者拡大」。
P2でもReaderからCreatorまで参加の裾野を広げるとしています。
ところが、実際に提案している施策は、
EXPRESS → CREATE
CREATE → REWARD
というLoop後半の2区間が中心です。
DISCOVER / READ / RESONATE、つまりReaderを増やす前半部分への施策はありません。
AgentはこれをMajorとしました。 修正後のエージェントによる再レビュー結果
これは、最初のレビューでは中心的なIssueになっていなかった論点です。
「経験は価値がある」の説明も少し長かった
もう1つ新しく出たMajorが、P3〜P6です。
この4ページでは、
市場ポジショニング
AI時代の情報価値
Writer / Reader双方の経験価値
Value Proposition
を説明しています。
それぞれ単体では成立しています。
でもAgentから見ると、
「経験に価値がある」という説明に4ページ使い、P2で置いた課題仮説から一度離れてしまう
構成になっていました。 修正後のエージェントによる再レビュー結果
特にP5とP6は役割が重複しているため、統合候補になっています。
さらに、
「なぜ8段階の中から、この2つの転換点を選んだのか」
という判断軸や規模感も不足していると指摘されました。 修正後のエージェントによる再レビュー結果
つまり、修正によって資料の解像度が上がったからこそ、
次のレベルの問題が見えるようになった
とも考えられます。
「61点→79点に改善」とは書かないことにした
ここは今回、かなり大事なところです。
最初に保存したAgentレビューは、
61 / 100
でした。 エージェント再レビュー結果 (1)
修正後は、
79 / 100
です。
数字だけ見れば、
「18点改善！」
と書きたくなります。
でも、今回はそうしません。
なぜなら、修正後のAgent出力には、
79点（前回75点）
と書かれているからです。 修正後のエージェントによる再レビュー結果
今回Beforeとして保存している成果物は61点なので、この75点がどの評価を指しているのかは、現在の成果物だけでは確認できません。
さらに修正後レビューでは、商談フェーズを確定したことで、
「体制・期間が未確定であること自体はCriticalにしない」
など、評価基準も調整されています。 修正後のエージェントによる再レビュー結果
つまり、61と79を厳密な同条件スコアとして比べることはできません。
今回は点数より、
何が直ったか
何が残ったか
新しく何が見つかったか
を見ることにしました。
これも、Agentを実際に使ってみたから分かった注意点です。
評価ルールだけでなく、評価条件や前回結果の持ち方まで固定しないと、スコア比較は意外と簡単に揺れます。
AIにレビュー→修正→再レビューさせれば完成するわけではなかった
今回やったことを振り返ると、
AIがレビューして、
AIが修正して、
AIがもう一度レビューしています。
一見すると、かなり自動化できそうです。
でも実際には、その間に人間の判断がかなり入っています。
Agentの指摘を全部採用するのか。
どこまで資料の目的を変えるのか。
分からない情報をどう扱うのか。
どの範囲を今回の提案にするのか。
その判断は、ChatGPTに資料を直してもらう前に決める必要がありました。
そして修正後も、Agentが新しいIssueを出しています。
なので今回の実験からは、
「レビューAgentを作れば資料が自動で完成する」
とは言えません。
むしろ、
AIレビュー
→ 人間が判断
→ AIで修正
→ 再レビュー
→ また人間が判断
というループを回しやすくするものだと感じます。
3回試して、Agent化の意味が少し見えてきた
第1回では、人間のレビュー工程を分解しました。
第2回では、通常のChatGPT・Claude・Geminiと専用Agentを比較しました。
そして今回、実際に指摘を反映してもう一度レビューしました。
ここまでやってみると、Agent化の価値は、
AIを一発で正解へ到達させること
ではない気がします。
同じ判断工程を何度も通せること。
事実と推測を分けること。
重要度を決めること。
修正後の資料にも、もう一度同じ視点を当てられること。
その結果、新しい問題が出ても、また次の修正へ進める。
仕事を「答え」ではなく「改善ループ」としてAIへ渡しやすくする。
今回、一番しっくりきたのはそこでした。
4. まとめ
今回は、専用Agentが出したMust Fix 5件をもとに、人間側で修正方針を設計し、ChatGPTに提案書を修正してもらいました。
修正後は、
Experience Loopの統一、課題仮説の明示、Solution 01 / 02の役割整理、GO / STOPの追加、DECISIONページの新設など、元の問題がかなり整理されました。
一方、再レビューでは、
判断範囲がまだ確定していないこと
に加え、
利用者拡大という約束と施策範囲のズレや、2つの転換点を選んだ根拠不足など、新しい問題も見つかりました。修正後のAgentも最終判定はCONDITIONAL GOです。 修正後のエージェントによる再レビュー結果
「AIに直させれば完成」ではありませんでした。
でも、レビュー→修正→再レビューを回す仕組みとしては、かなり使い道がありそうです。
5. 成果物公開セクション
記事の末尾に、ここを追加するのがおすすめです。
今回の検証データを公開します
今回使った資料とレビュー結果も公開します。
Before
修正前の17ページ提案書PDF
専用Agentのレビュー結果（61点 / CONDITIONAL GO / Must Fix 5件）
修正工程
ChatGPTへ実際に渡した修正プロンプト
After
ChatGPT修正後の17ページPDF
修正後PDFを専用Agentで再レビューした結果
本文では要点だけ紹介しました。
「実際にどこがどう変わったのか」「Agentはどんな文章で指摘したのか」まで見たい方は、成果物もあわせて見てみてください。
※提案資料は自主制作の架空案件です。note株式会社から依頼・監修を受けて制作したものではありません。
6. シリーズ説明
このnoteでは「AI副業で月1万円」を目標に、AIを仕事や副業にどう活用できるのか、実際に試したことを記録しています。
今回の商談資料レビューAgentは、
設計する → 比較する → 実際に直して再レビューする
ところまで検証しました。
7. 次回予告
商談資料レビューAgentの3回にわたる検証は、ここでいったん一区切りです。今後、実運用で新しい弱点や改善点が見つかったら、また続きを記録します。
Claudeに修正させたら点数どうなるかはちょっと気になってます。
この検証を最初から読む
今回の記事は、商談資料レビューAgentを実際に作って試した3部作の最終回です。
第1回｜Agentをどう設計したか
▶ AIに提案書レビューを任せるため、人間の判断工程を分解してみた
第2回｜ChatGPT・Claude・Gemini・専用Agentを比較
▶ ChatGPT・Claude・Geminiに同じ提案書をレビューさせた。専用Agentを作る意味はあった？【レビュー結果公開】
第3回｜指摘を反映して再レビュー
今読んでいるこの記事です。
今回レビューした17ページの提案書を作った過程はこちらです。
▶ AIでPPTを作ったら、noteの成長戦略までできた。【17ページPDF公開】
