記事の品質チェック、まだ人間がやってるの？ AIに「顧客人格」を憑依させて辛口レビューしてもらう方法
みなさん、こんにちは。ナカヨシ(X@IVRy_nakayoshi)です。
職種はSEOマーケティングです。
このブログはIVRy Advent Calender 2025「IVRy AIブログリレー Part2」の12月8日の記事です。
昨日はボルドーさんが「2025年アプリチームの AI 活用を振り返る」を書きました。こちらもぜひご覧ください！
明日はkomtakiさんが記事を書きます。
AIにコンテンツ評価をしてもらう目的
この1年で、AIを用いた「コンテンツ生成」は凄まじいスピードで社会に浸透しました。
それはテキストだけでなく、画像や動画など、AIで「作る」ことのハードルは劇的に下がり続けています。
その一方で、現場のマーケターは新たな悩みに直面しています。
それは「AIが作ったコンテンツ、誰がチェックするの？問題」です。AIは一瞬で記事を出力しますが、その品質を担保するのは人間です。
（アイブリーでは「一次情報の調査」「初稿の提案」「校正校閲」にのみ生成AIを活用しており、AIのみでの記事作成は行なっておりません。）
ファクトチェックは当然として
「この記事は本当に疑問を解決できるのか？」
「ターゲットユーザーに刺さるのか？」
などを判断するには、顧客のニーズや課題を理解したマーケターの目が必要です。
しかし、私たち人間では、AIの生成スピードに追いつくリソースはありません。
そこで私たちは「作るのがAIなら、評価するのもAIでいいじゃないか」と考えました。
ただし、AIに普通に評価させても意味がありません。
私たちが取り組んでいるのは、AIにターゲットユーザーの人格を「憑依」させて、顧客目線でダメ出しをしてもらうというアプローチです。
今回は、アイブリーのSEOチームが検証している「AIによる記事の品質チェック」の裏側を公開します。
なぜAIに「人格の憑依」が必要なのか？
生成AIは基本的に「確率論」で言葉を紡ぐため、ハルシネーション（もっともらしい嘘）のリスクを完全に排除することは困難です。
そのため、AIが書いた記事に対する「ファクトチェック」は、引き続き人間が行う必要があります。
しかし、コンテンツの品質は「事実かどうか」だけでは決まりません。
誤解を恐れずに言えば、「事実かどうか」よりも「そのコンテンツが、ターゲットとなるユーザーに受け入れられるか？」という「評価」の方が、コンテンツにとって大事な瞬間もあると思います。
私たちは日頃、お客様が課題に直面した経緯や、なぜアイブリーを選んでくれたのか、を直接ヒアリングするユーザーインタビューを大切にしています。
そして、そこで得られた知見が、ターゲットユーザーに響くコンテンツか否か、の判断基準となっています。
この人間特有の「判断基準」をAIにも学習させられないか。 そうすれば、AIがマーケターと同じ目線で「読者がどう感じるか」を予測し、「どう言い換えれば納得するか」を提案してくれるレビューが可能になると考えました。
AIにペルソナの「人格を憑依」させる方法
では、具体的にどうやってAIに人格を憑依させ、評価させるのか。 私たちが検証しているプロセスを、大きく3つのステップに分けて解説します。
1. 「対話の記録」を注入する（生データのインプット）
AIに「電話対応に困っている人になりきって」とプロンプトで書くだけでは、ただの「AIが想像する困っている人」にしかなりません。
精度の高いなりきり（ロールプレイ）に必要なのは、「一次情報」です。
そのため、これまで蓄積してきた膨大な顧客インタビューの「議事録」や「音声ログ」をAIに読み込ませています。
・どんな課題を持っていたのか？
・「電話が鳴る」ことをどう認識していたのか？
・課題解決をしようと思ったきっかけは何だったのか？
これらの「記録」を学習させることで、リアリティのあるターゲットユーザーの人格形成を行います。
2. 「本人確認」をする
AIへの学習が完了したら、「本人確認」を行うため、プロンプトには書かれていない質問を投げかけます。 例えば、「半年後にあなたの部署で起きそうな一番嫌なことは？」と聞いてみます。
そこで、
「そうですね、4月に入ってくる新卒社員への電話応対マナー研修が憂鬱です。マニュアルもないし…」
といった、妙に解像度の高い愚痴が返ってきたら、憑依完了です。 もし回答が抽象的なら、Step 1のデータを入れ替えて追加で調整します。
3. バーチャル読書会でダメ出しをもらう
AIにターゲットユーザーのペルソナを徹底的に学習させた状態で、評価対象の記事を読ませます。
ここでは単なる「良し悪し」の判定にとどまらず、実際のユーザーテストのような具体的かつ定性的なフィードバックを求めます。
・「この記事のタイトルを見て、クリックしたいと思いましたか？」
・「読み進める中で、『ブラウザを閉じたい』と思った箇所はどこですか？」
・「この記事を読んだ後、あなたは上司にアイブリーを提案する勇気が出ましたか？ 出ないなら何が足りませんか？」
上記のような質問を投げかけることで、足りていない情報や冗長になっている箇所、適切な訴求文言の提案など、これまで人間が感覚や経験則に頼っていたレビュー業務を、高い客観性と再現性を持って行えるようになります。
ただし、これらの質問は記事のジャンルやターゲットユーザーごとに変わるため、すべてのコンテンツに共通するコンテキストやプロンプトは存在しません。
そのため、AIとの対話を進めながら、AIの提案を適用した記事のユーザー指標が、変更後にどのように変化したのか、といった一次情報を正しく学習させることで、より精度の高い「人格の憑依」ができるようになると考えています。
実際にやってみて分かった「AIレビュー」の限界と突破口
私たちがこの手法にたどり着く前、最初は単純に「AIの出力結果を、別のAIに評価させる」という実験を行っていました。その評価結果を人間がダブルチェックしてみると、ある傾向が見えてきました。
AIは「日本語の正しさ」や「論理構成」、「読みやすさ」といった形式的な評価においては、非常に正確でした。
しかし、「マーケティング的な観点」での評価となると、途端に的外れな判断を下すことがあったのです。
実際に直面した具体的な失敗事例をいくつかご紹介します。
事例1：ターゲットの「懐事情」が見えていない
ある時、「起業したばかりの人に向けた、社外での電話対応方法」を紹介する記事の初稿を作成しました。
その際、AIレビュワーは「高機能だがコストのかかる施策」を提案している内容に対し、「包括的で素晴らしい」と高い評価を付けました。
しかし、人間のマーケターならこう思います。
「創業直後の経営者に、そんな予算があるわけない。まずは低コストで導入しやすい施策を勧めるべきだ」と。
AIは「一般的な正解」は知っていても、ターゲットユーザーの切実な状況（予算感や緊急度）までは理解できていなかったのです。
そこで私たちは、AIに「創業直後にアイブリーを導入いただけたユーザーインタビュー」を読み込ませました。
するとAIは「この提案はコストが高すぎて、今の私には現実的ではありません」と正しい評価を下すようになりました。
事例2：ユーザーの「行動心理」が見えていない
また、「サービスの比較」をする記事のレビューでもズレが生じました。
AIは「比較表を記事の末尾に配置することで、読者がページを最後まで読み進める可能性が高まります」と提案しましたが、実際のユーザー行動データを知っている私たちからすると、かなり的外れであると感じました。
なぜなら、該当記事を訪れるユーザーの多くは「早く結論が知りたい」と感じており、冒頭に目的の情報がないと分かると、スクロールせずに離脱してしまう傾向があるからです。
AIは「読者が実際にどう動くか」を理解しておらず、正しい仮説を立てられていませんでした。
これに対し、実際の「ユーザーのWeb行動データ（ヒートマップや滞在時間など）」の傾向を学習させたところ、「ユーザーは結論を知りたがっています。比較表はファーストビューに入れるべきです」と、評価をするようになりました。
結局、最後に勝つのは「データを持っている企業」
この取り組みはまだ検証段階であり、実用化に向けて試行錯誤を繰り返しています。
そして、この試行錯誤を通じて痛感しているのは、「AI時代こそ、泥臭いデータが重要な資産になる」という事実です。
なぜなら、LLMなどの基盤モデルはインターネット上の「一般的な正解」は学習していても、私たちの目の前にいる「特定のお客様」のことは何も知らないからです。
私たちが日々向き合っている、整理されていない議事録や、複雑な行動ログ。これらこそが、他社のAIには決して真似できない、自分たちだけの「独自のコンテキスト」になります。
今後、AIへさらに精度の高い「人格の憑依」をさせるためには、その元となるデータが不可欠になります。
そのため、AI技術がより発達した将来に向けて、行動ログのような定量データはもちろん、インタビューや商談などの非構造的なデータも、今の段階から記録することが大きな資産になると感じています。
「どんな人が、どんな文脈で、何を求めてサイトを訪れたのか」。この解像度を高め、そのデータをAIにフィードバックし続けるサイクルを作ることこそが、これからのマーケティングにおける競争優位性になると考えています。
未完成だからこそ、面白い
今回ご紹介した「なりきり評価」は、まだ完成形ではありません。 ハルシネーションのリスクもありますし、評価の精度も日々チューニング中です。
しかし、私たちのチームには「前例のないことに挑戦し、テクノロジーでマーケティングを進化させる」ことを楽しむ文化があります。
社内で開催されている「AI Award」のような取り組みも含め、SEOやコンテンツ制作といった既存の枠組みにとらわれず、新しい技術を積極的に取り入れるスタンスを大切にしています。
「AI × マーケティング」の領域で、まだ世の中にない正解を一緒に探しに行きませんか？
もし、このような泥臭くも先進的なチャレンジに興味を持っていただけたら、ぜひ一度お話ししましょう。
最後に
IVRyでは、イベントや最新ニュース、募集ポジションなどの情報をお届けするカジュアルなつながり「キャリア登録」をご用意しています。IVRyに少しでもご興味をお持ちいただいた方は、以下のURLよりぜひご登録ください。
また、IVRyではAdvent Calendarをもう1レーン走らせています。
こちらもぜひご覧ください。
