メインコンテンツへスキップ
見出し画像
Photo byishi99

Directional Stimulus Prompting

    yunsuuu


    Introduction

    **Directional Stimulus Prompting（DSP）はブラックボックス大型言語モデル（LLM）を特定の方向にガイドするための革新的なプロンプティング技法です。この方法は直接的にLLMを調整する代わりに、プロンプトを活用して各入力に対して方向性刺激プロンプト（directional stimulus prompt）**を生成します。

    Motivation

    • アクセスの限界: ほとんどの強力なLLMは商業的理由や悪用のリスクのためにパラメータを公開せず、ユーザーはブラックボックスAPIを通じてのみアクセスできます。つまり、モデルの内部を直接修正したりチューニングすることが非常に困難です。

    • 非効率的なファインチューニング: オープンソースLLMはありますが、特定タスクに合わせてファインチューニングすることは膨大な計算資源が必要で非効率的です。

    • 細かな制御の困難: LLMが多様なタスクを実行できますが、特定タスクで望ましい行動や細部的な方向性に完璧に合わせて結果物を生成することには依然として困難があります。例えば、要約文のスタイルや特定キーワード含有の有無のような微妙な違いをプロンプトだけで制御するのは容易ではありません。

    Method

    既存方式との相違点

    既存プロンプティング:

    入力 → LLM → 出力

    DSP方式:

    入力 → 政策モデル（DSPプロンプト生成器） → DSPプロンプト → LLM（入力+刺激） → 出力

    例示

    input text:

    記事: （CNN）8年ぶりに初めて、TV界の伝説が自分が最も得意とすることを再びするために戻ってきた。
4月1日放送の「The Price is Right」で参加者が「カム・オン・ダウン！」という言葉を聞いた時、
司会を務めたのはドリュー・キャリーではなく、馴染みのある別の顔だった。
代わりにそこには2007年に引退する前まで35年間このTVゲームショーを進行していたボブ・バーカーがいた。
91歳にもかかわらず俊敏に見えるバーカーは、ショーの最初の価格当てゲームである
クラシック「ラッキーセブン」を進行した後、残りの進行を仕上げたキャリーに司会役を渡した。
過去8年間ショーから離れていたにもかかわらず、バーカーは全く腕が鈍っていないようだった。

Reference
ボブ・バーカーは水曜日に「The Price is Right」の司会として復帰した。
91歳のバーカーは2007年に司会者から引退していた。

    一般プロンプティング:

    Q: 次の記事を2-3文で要約してください。
A: 「The Price is Right」の元司会者であるボブ・バーカーが8年ぶりに初めてショーに復帰した。彼はショーの最初のゲームを進行した後、司会役をドリュー・キャリーに渡した。

ROUGE-1（要約スコア）: 34.48 👎

    DSPプロンプティング:

    Q: 次の記事をヒントを参考にして2-3文で要約してください。
ヒント: Bob Barker; TV; April 1; "The Price Is Right"; 2007; 91
[記事内容]

A: 4月1日、ボブ・バーカーは8年ぶりにTVショー「The Price Is Right」に復帰した。91歳にもかかわらず俊敏に見えるバーカーは最初の価格当てゲームを進行した。バーカーは2007年に司会者から退いたが、全く腕が鈍っていないようだった。

ROUGE-1（要約スコア）: 48.39 👍

    Details

    🔧 核心構成要素

    DSPは3つの主要構成要素で構成されます：

    1. 政策モデル（Policy Model）

    政策モデルがすることを比喩で説明すると政策モデル = 個人向けカスタムコーチです。

    一般的なAIが「運動してください」と言うなら、政策モデルは：

    • あなたが初心者なら：「今日は10分歩くことから始めてみてください」

    • あなたが熟練者なら：「筋力運動30分 + 有酸素20分の組み合わせが良いでしょう」

    具体的な動作方式

    1. 入力別カスタマイズされた方向性刺激生成

    例示状況: ユーザーが「数学問題のヘルプ」を要請

    # 既存方式（一般的なAI）
入力: "数学問題が難しいです"
出力: "数学問題を一歩ずつ解いてみてください"

# DSP政策モデル方式
入力: "数学問題が難しいです"
政策モデルが分析:
- ユーザーレベル: 中学生
- 過去対話: 二次方程式でよく詰まる
- 学習スタイル: 段階別説明を好む

生成された方向性刺激:
"二次方程式を因数分解でアプローチしてみてください。
第一段階: xの係数を確認し
第二段階: 定数項を二つの数の積で表してみてください"

    2. T5-BaseとFlan-T5-Largeモデル選択

    T5-Base（220M）:

    • 軽量モデル、高速応答

    • 簡単な方向性刺激生成

    • 例：「段階別にアプローチしてください」

    Flan-T5-Large（780M）:

    • より精巧なモデル、複雑な分析

    • 詳細なカスタマイズされた方向性刺激

    • 例：「あなたの学習パターンを見ると視覚的説明が効果的なので、グラフを描きながら問題を解いてみてください」

    3. 訓練方式

    Supervised Fine-tuning（SFT）:

    訓練データ例示:
入力: "初心者、プログラミング質問、繰り返しミス"
DSP: "基礎概念から段階別に説明しつつ、実習例題を多く含めてください"

    Reinforcement Learning（RL）:

    政策モデルが提案した方向性刺激 → 実際のAI応答 → ユーザー満足度測定
→ 満足度が高ければ報酬、低ければペナルティ → 政策モデル改善

    Limitations

    • LLM自体の直接的最適化不可能

      • DSPはほとんどパラメータが公開されず、直接ファインチューニングが計算的に非効率的または実現不可能なブラックボックスLLMを直接調整する問題を回避します。これは政策モデルを最適化してLLMを制御する方式なので、LLM自体の根本的な限界を直接的に解決するものではありません。

    • 望ましい行動との不完全な整合

      • LLMは広範囲な言語タスクで相当な性能を示しましたが、特定タスクおよび使用事例で望ましい行動および方向と完全に一致する出力を生成することに依然として困難を経験する可能性があります。DSPはこのような整合を助けるために考案されましたが、LLMがすべての微細な意図に完璧に符合する出力を常に生成することは依然として課題です。

    あなたへのおすすめ