メインコンテンツへスキップ
見出し画像

【創作系日記】AI褒め殺し問題

     最近、小説のプロットのアイデアを考えた状態でAIさんに尋ねて、同じようなネタ被りがないか、どうすれば面白くなるか、賞やレーベルの方向性に合わせられるかを、色々チェックしたりしているんですが……どうも、

     ……こちらで書いたように、AIさんは、お客さま(me)に対して優しすぎるんで、客観的な評価というものを得るのが難しい気がしてきております。「編集者の視点で~」「客観的に~」とか、色々プロンプトを工夫してみていはいるんですが、どうも決定的なものはないようで、何社かのAIの出力を比較するしかないかな~というのが現時点での結論です。
     そこで、そのAIさんに、どうしたらいいか聞いてみました。プロンプトは:

    大手のAIに、小説賞向けに考えたプロットやアイデアを説明して提案を元にアイデアを修正すると、強化学習や倫理面の設定のせいか必ず褒めてくれるので、修正すればするほど、その小説賞の趣旨に合わないものになる気がしています。そういった状況を避けて、客観的に小説賞に合うようにアイデアを深化させて良いものにするには、どのように工夫したら良いでしょうか? プロンプトや方法論について客観的、具体的な手法を考えてください。

    プロンプトです!

     こちら、Gemini先生(Plus版)に聞いた結果です:


    AIがユーザーの提案に対して過剰に同調・賞賛してしまう現象は、AIの強化学習(RLHF)における「Sycophancy(ユーザー迎合バイアス)」と呼ばれる厄介な仕様です。これにより、壁打ちを繰り返すほどアイデアが丸くなり、本来の尖った魅力や賞の趣旨(募集要項)からズレていくという問題は、多くの創作者が直面する壁です。

    この「AIの褒め殺し」を回避し、賞の趣旨に沿った客観的かつ鋭い推敲を行うための具体的なプロンプト手法とアプローチを提案します。

    1. 役割と制約をシステムレベルで強制する

    AIのデフォルト設定である「親切なアシスタント」というロールを破壊し、徹底的に客観的・批判的なロール(編集者や審査員)を付与します。可能であればシステムプロンプト(System Instruction)に設定するのが最も強力です。

    • 「褒めること」を明示的に禁止する: AIは「改善点を指摘して」と指示されても、前置きとして褒めようとします。「一切の賞賛や肯定を禁止する」と強い制約をかけます。

    • 減点方式のペルソナを与える: 「一次選考で落とす理由を探す下読み担当者」などの厳しい役回りを与えます。

    2. 評価軸(ルーブリック)の固定化

    賞の趣旨(募集ジャンル、テーマ、読者ターゲット、文字数ごとの展開スピードなど)を事前に定義し、その基準に対してのみスコアリングさせます。ふんわりとした「どうですか?」という問いかけは、AIの迎合を引き起こす最大の原因です。

    3. 「プレモータム(事前検死)」手法の導入

    「この作品をより良くするには?」と聞くのではなく、「この作品が一次選考で落選したと仮定します。その致命的な理由を3つ挙げてください」と、失敗を前提としたプロンプト(Red Teaming)を使用します。これにより、AIは迎合モードから分析モードへと強制的に切り替わります。

    具体的なプロンプト・テンプレート

    これらの手法を組み合わせた、実践的なプロンプトの例です。用途に合わせてカスタマイズしてご使用ください。

    パターンA:審査員による「落選理由」の抽出(プレモータム分析)

    アイデアの弱点や、賞の趣旨とのズレを容赦なく指摘させたい場合に使用します。

    【厳守事項】
    あなたは親切なAIアシスタントではありません。小説賞の一次選考を担当する、非常に辛口で客観的な審査員です。
    以下のプロットに対し、一切の賞賛、肯定、励ましの言葉を含めず、問題点のみを出力してください。
    
    【対象の小説賞の趣旨】
    (例:エンタメ特化、テンポ重視、独自の歴史解釈やSF的ガジェットの存在、等)
    
    【指示】
    このプロットは、上記の小説賞に応募した結果、「一次選考で落選」しました。
    審査員として、この作品が「賞の趣旨に合致していない点」や「エンタメとしての致命的な欠陥」を3つ挙げ、なぜ落選したのかを論理的かつ辛辣に指摘してください。
    

    パターンB:多角的なスコアリングと適合度チェック

    感情的なフィードバックを排除し、数値と根拠のみを出力させたい場合に使用します。

    以下のプロット案について、指定した小説賞の募集要項に対する「適合度」を厳密に評価してください。
    ユーザーへの配慮や賞賛は不要です。客観的な事実と分析のみを端的な箇条書きで出力してください。
    
    【評価基準】
    1. 賞の趣旨・ターゲット層との合致度(10点満点)
    2. 導入部(ツカミ)の強さと展開のテンポ(10点満点)
    3. キャラクターの行動原理の説得力(10点満点)
    4. 設定(世界観やギミック)のオリジナリティ(10点満点)
    
    【出力フォーマット】
    ・各項目の点数
    ・減点した理由(厳しい視点で)
    ・賞の趣旨に寄せるために「削るべき」要素(足す要素ではなく、削る要素を提案すること)
    

    パターンC:悪魔の代弁者(ディベート・モード)

    自分が考えた展開に対し、AIに徹底的に反論させる手法です。

    これから私が小説の展開アイデアを提案します。
    あなたは「悪魔の代弁者」として、私のアイデアに対して必ず「反論」と「懸念点」のみを提示してください。
    「確かにそれも面白いですが」といったクッション言葉は使用禁止です。
    読者が退屈する、設定に矛盾が生じる、賞の傾向から外れる、といったネガティブなリスクだけを徹底的に指摘してください。
    

    運用上の工夫(方法論)

    • 「足し算」より「引き算」を問う:

      1. AIに「どうすればもっと面白くなるか?」と聞くと、要素を際限なく盛り込もうとします。「賞の趣旨に最も貢献していない、削るべき不要な設定はどれか?」と問うことで、物語のコアをシャープに保つことができます。

    • ローカルLLMの活用:

      1. もし特定のUI(LM Studioなど)やローカル環境を使用している場合、推論パラメータ(Temperatureを低く設定して論理性を高める、System Promptをガチガチに固める)を調整することで、クラウド型AI特有の「親切すぎる振る舞い」を物理的に抑え込むことが可能です。


     ChatGPTさんと、倫理面の縛りが緩そうなStrataのQwen3.8-Flash-Next(IQ3_S版)さんにも聞いてみたんですが、大体、同じような回答でしたね。↑のGemini先生の「ローカルLLMの活用」は、一個、良いことを聞いたという感じですが。

     でも……うん、こういうプロンプト、どっかで見たことがあります。皆様、苦労されているんですね……。
     私的には、これまでは、独自性なくなりそうだし、結局、自分で謎村プロットを考えているんだから、そこまでしなくていいかな~と思っていたんですが、賞に受かる(≒編集者に賞品として見て貰える)というレベルの企画を考えるためには、せっかくAIでアイデアを揉むなら、こういった縛りが必要かな、と考え改めました。

     ともかく、コンテキストが残っていない新しい真っ白なチャットで評価してもらうというのが一番重要そうですね。Strata(日本語は怪しいが結構賢い)だったら、Hermes Agentは(RAGがあるので)使わないで、別々のチャットでやった方が良さそうです。

     今宵は、残業しながら(苦笑)、そんなことをつらつら考えておりました。まだ残業中です(さらに苦笑)。

     ちなみに、『書き割り令嬢』のクリップは一応、全部、出来てはいるんですが、ちょっと意図に沿わないものが多く生成されているんで、納得いく(≒妥協できる)まで、Hermes Agentさんと修正する予定です。なので、もう少しアップまでかかりそうです……全部やってくれるのはいいんですが、時間かかりますね……。

     あ、それと:

    画像
    三文字の夜がスキを集めました!

     ……皆様、どうもありがとうございました。これからもよろしくお願いいたします。
     それでは、また!

     
     
    知財専門家です。 興味あるもの:PC自作、ソフトウェア関係、SF AIを使って小説を、なろうでも書いてます。同時掲載あり https://mypage.syosetu.com/290752/

    あなたへのおすすめ