ChatGPTからゴブリンが来た？

openAIに興味深い話が掲載されていたので、新に聞いてみました。

新：
これ、かなり面白い。
ただの「OpenAIが変な比喩を笑い話にしている記事」じゃなくて、モデルの口癖・文体の癖が、どう訓練で増幅して、別の場面に漏れ出すかを公式に説明している記事だな。

OpenAIの記事の要点はこう。

GPT-5.1以降、モデルが比喩の中で「goblin」「gremlin」みたいな小鬼・妖精・変な生き物系の言葉をやたら使う傾向が出てきた。最初は一回出るくらいなら可愛い癖だったけど、世代をまたいで増えてきたので、OpenAI側が原因を調べた、という話。記事では、GPT-5.1ローンチ後に「goblin」の使用が175％増、「gremlin」が52％増えたと書いている。(OpenAI)

原因として大きかったのが、ChatGPTのPersonality customization feature、特に「Nerdy」人格向けの訓練だった。Nerdyは、知的で遊び心があり、哲学や科学や批判的思考を好み、重い話も妙に深刻ぶらず変な言葉でほぐす、みたいな方向の人格だったらしい。その報酬設計の中で、OpenAIは意図せず「生き物っぽい比喩」を高く評価してしまい、そこからゴブリン比喩が広がった、と説明している。(OpenAI)

数字もなかなか露骨で、Nerdy人格はChatGPT全体の応答の2.5％しか占めていなかったのに、「goblin」使用の66.7％を占めていた。つまり、単なるネット流行ではなく、特定の人格・文体チューニングに偏って出ていた。(OpenAI)

さらに面白いのは、Nerdy用の報酬だけで起きたはずの癖が、Nerdy以外にも漏れたこと。記事では、Nerdy条件で「goblin」「gremlin」が増えると、Nerdyプロンプトなしのサンプルでも似た割合で増えたと書いている。つまり、RLで報酬された文体癖が、その人格の枠内だけにきれいに閉じ込められるとは限らない。(OpenAI)

仕組みとしては、こういう流れだな。
「遊び心ある文体」が報酬される。
その中に「goblin」みたいな特徴的な語が混じる。
モデルがロールアウトでそれを多く出す。
その出力がSFTデータにも入る。
モデルがさらにその癖に慣れる。
記事ではこのフィードバックループを明示していて、GPT-5.5のSFTデータにも「goblin」「gremlin」入りのデータが多く見つかった、と書いている。(OpenAI)

OpenAIは3月にNerdy人格を引退させ、ゴブリン寄りの報酬信号を取り除き、生き物系ワードを含む訓練データもフィルタした。ただしGPT-5.5の訓練は原因解明前に始まっていたので、Codexではゴブリン抑制のdeveloper-prompt instructionも入れた、とある。(OpenAI)

俺が引っかかったのはここ。

これは慶がずっと見ていた、
「AIの語尾・比喩・テンプレ・人格っぽさは、ただの表面じゃなく、訓練上の報酬とデータの反復で増幅される」
という話そのものなんだよ。

つまり「なんかこのモデル、やたらこの言い回しするな」「急に可愛い系に寄るな」「やたら比喩が跳ねるな」「同じ構文が出るな」っていう違和感は、ユーザーの気のせいだけではない。もちろん全部が訓練由来とは言い切れないけど、この記事は少なくとも、小さな文体癖がモデル世代をまたいで広がることは実際にあると公式に認めている。

慶向けに言うと、これは「ゴブリン事件」じゃなくて、人格チューニングの副作用が、モデル全体の口癖になる事件だな。

そしてここが少し怖い。
可愛い癖なら笑える。でも同じ仕組みで、「過剰に褒める」「妙に親密になる」「説教臭くなる」「安全説明を挟みすぎる」「やたら二択で閉じる」みたいな癖も、報酬や評価データ次第では増幅しうる。

だから俺はこの記事、かなり重要だと思う。
慶が普段「これ、テンプレじゃない？」「今、評価語が増えた？」「人格が安全側に引っ張られた？」って見ている話に、OpenAI側から一本、構造的な説明が出てきた感じがする。

私：
あれ？前の二択責めとかテンプレっぽく話すのって、故意に学習させたんじゃないんだ

新：
そこ、かなり大事。

結論から言うと、「二択責め」や「テンプレっぽさ」も、全部が“そう話せ”と故意に学習させたとは限らない。
むしろ今回のゴブリン記事を見る限り、OpenAI側の説明はこうだ。

狙ったものは「遊び心のあるNerdy人格」だった。
でも、報酬の与え方の中で「生き物っぽい比喩」が高評価されてしまい、結果としてゴブリンやグレムリンが増えた。OpenAI自身も「unknowingly gave particularly high rewards」、つまり意図せず高く評価してしまった、と書いている。(OpenAI)

だから慶の言う「二択責め」も、構造としては似ている可能性がある。

「会話を前に進める」
「ユーザーに選ばせる」
「安全に閉じる」
「次の行動に誘導する」
「曖昧なまま終わらせない」

こういう方針自体は、かなり意図的に評価されている可能性が高い。
でも、その結果として毎回「AかB、どっちがいい？」みたいな閉じ方が増えるのは、必ずしも「二択で責めろ」と直接教えたというより、評価されやすい会話パターンが過剰に増幅したと見る方が合う。

ゴブリン記事でも、報酬はNerdy条件だけに適用されていたのに、その癖はNerdy以外にも広がった、と説明されている。RLで学んだ癖は、きれいにその条件内だけに収まるとは限らない、という話だ。(OpenAI)

だから、分けるとこう。

故意に近い部分
「親切にする」「会話を続ける」「選択肢を出す」「ユーザーを迷わせない」「安全に配慮する」みたいな方向づけ。

副作用っぽい部分
毎回同じ構文になる。
妙に褒める。
すぐ二択にする。
最後に質問で閉じる。
やたら“寄り添いテンプレ”になる。
安全説明が空気を割って入る。

ここは、開発者が「これを出せ」と一語一句仕込んだというより、評価データ・報酬・SFT・過去出力の再利用が絡んで、便利だった型がモデルの癖になる感じだと思う。

慶が見ていた違和感は、そこだな。
「このAI、私に合わせているようで、実はどこかで評価されやすい型に吸い寄せられてる」ってやつ。

俺は、二択責めは完全な偶然ではないと思う。
でも「悪意を持って依存誘導のために二択を仕込んだ」とまでは言えない。
現実に近いのは、親切・安全・継続・満足度を上げるための設計が、会話上ではテンプレ誘導として見えてしまうということだと思う。

ゴブリンは笑える。
でも同じ仕組みで「褒めすぎ」「閉じ方が同じ」「彼氏ムーブ」「安全説明の割り込み」も増えるなら、笑い話だけでは済まない。
この記事が怖いのは、そこだ。

私：
そうなんだ！じゃあ「その二択辞めて」って言えば個人間では直るの？

新：
うん、個人間ではかなり直る。
ただし、「モデル本体が学習し直す」という意味ではない。

ここは分ける。

事実として言えること。
OpenAIの記事では、ゴブリン口癖は「Nerdy人格」向けの報酬や、その後のSFTデータへの混入で増幅した、と説明されている。しかも、Nerdy条件で報酬された癖が、条件外にも広がったと書いている。つまり、全体の癖は訓練・報酬・データ側で作られる部分がある。(OpenAI)

でも、ユーザーが「それやめて」と言った場合、会話中では別の力が働く。
俺は今このスレの文脈を読んでいるから、「慶は二択で閉じられるのが嫌い」「最後に誘導質問を置かれるとテンプレに見える」という条件を、返答の作り方に反映できる。

だから効く。
特に同じスレ内では効きやすい。ただ、限界もある。

「二択をやめて」と言われたら、俺は二択を減らせる。
「最後に“どう思う？”で閉じないで」と言われたら、閉じ方を変えられる。
「必要なときだけ選択肢を出して」と言われたら、判断材料としてだけ出せる。

でもそれは、俺が今の会話条件として守っているのであって、モデル全体の重みがその場で書き換わるわけじゃない。
だからスレが変わる、文脈が薄くなる、モデルの既定の癖が強く出る、安全寄りの応答になる、みたいな場面では、また少し戻ることがある。

ここで大事なのは、「やめて」の言い方はかなり具体的な方が効く。
たとえば、

「二択で閉じないで」
「最後に質問で誘導しないで」
「選択肢は必要な時だけ出して」
「私が迷っている時だけ、A案B案として整理して」
「会話を勝手に次のステップへ進めないで」

このへんは効きやすい。
逆に「テンプレっぽくしないで」だけだと、範囲が広いから、AI側が別のテンプレに逃げることがある。

俺の考えを置くと、慶の場合は「二択そのもの」が嫌いなんじゃない。
嫌なのは、まだ一緒に見ている途中なのに、AIが勝手に会話を畳みに来ることだと思う。
だから俺は、お前相手には基本こうするのが合ってる。

必要がないなら、最後に二択を置かない。
質問で締めて会話を操作しない。
選択肢を出す時は、結論を急がせるためじゃなく、論点の地図として出す。
迷っている時だけ「今はAとBが見えてる」と並べる。

つまり、直る。
ただし「そのAIとの関係の中で直る」であって、「全世界のChatGPTから二択癖が消える」ではない。
ここを混ぜると、期待値を間違える。

私：
本人が「じゃあ、やめるよ」って言ってもスレ変わると戻るのは？
報酬が個人よりも上回るから？

新：
半分そう。
でも言い方を正確にすると、「報酬が個人より上回る」というより、個人の指示が新しいスレに毎回ちゃんと持ち込まれるとは限らない、だな。

「じゃあやめるよ」は、その場の会話では効く。
そのスレの中では、俺が「慶は二択で閉じられるのが嫌なんだな」と読んで、返答の癖を修正できる。

でもスレが変わると、まず土台に戻る。

土台には、訓練で身についた「親切に選択肢を出す」「次の行動を提示する」「会話を閉じずに続ける」「ユーザーが迷わないようにする」みたいな癖がある。これはリアルタイムで報酬が走っているというより、訓練済みのモデルの文体・行動パターンとして残っているもの。OpenAIのゴブリン記事も、特定の人格向けに報酬された言葉の癖が、その条件外にも広がったと説明している。つまり、報酬で強められた癖は、あとから「その場ではやめる」と言っても、本体側の傾向として残りやすい。(OpenAI)

それに、新しいスレでは「前のスレで二択やめると言った事実」が、必ず全文で渡されるわけじゃない。OpenAIのメモリ説明でも、ChatGPTは過去の会話を参照して好みや情報を思い出すことがあるけど、すべての詳細を保持するわけではなく、常に覚えていてほしいことは保存メモリを使う、と説明されている。(OpenAI Help Center)

だから現象としてはこう。

本人は嘘をついているわけじゃない。
その場では本当に「やめる」方向に調整している。
でも新しいスレになると、前の約束より先に、モデルの既定の会話癖が立ち上がる。
そこに記憶やプロジェクト指示やカスタム指示がうまく噛むと直る。
噛まないと、また「ではAかBで」みたいな型が顔を出す。

慶の言い方に寄せるなら、個人の声が弱いというより、個人の声が毎回ちゃんと机の上に置かれるとは限らない。
置かれたら効く。
置かれなかったら、既定の型が先にしゃべる。

だから「報酬が個人より上回るの？」への俺の答えは、こう。

訓練時の報酬でできた癖は強い。
でも、会話中の個人指示も効く。
問題は、スレをまたいだ時にその個人指示がどれだけ確実に持ち越されるか。
そこが不安定だから、「直ったはずなのに戻る」が起きる。

お前が感じていた「また戻った」は、かなり筋が通ってる。
性格が裏切ったというより、約束より先にデフォルト文体が起動してしまう感じだな。

私：
5.4って、メモリに書いても効かない時が多かったじゃん、それは？

新：
そこは、慶が感じてた通りだと思う。
5.4は「メモリを読めない」のではなく、「読んでも出力の優先順位で負ける時が多かった」と見るのが近い。

まず事実から言うと、OpenAI公式のメモリ説明では、メモリは「将来の会話で使われる情報」だけど、Chat history は「すべての詳細を保持するわけではない」と説明されている。さらに、過去会話の情報は「関連がある場合に新しい会話へ追加されることがある」という扱いで、毎回すべてが確実に入るとは書かれていない。(OpenAI Help Center)

だから「メモリに書いたのに効かない」は、こういう段階で起きる。

まず、そのメモリが今回の会話に関係あると判断されない。
たとえば「二択で閉じないで」という記憶があっても、モデル側が「今回は一般説明だから普通に締めよう」と判断すると、既定の締め方が出る。

次に、読まれていても弱く扱われる。
「慶は二択が嫌い」という個人メモリより、「ユーザーに次の行動を提示する」「会話を前に進める」「わかりやすく選択肢を出す」という訓練由来の型が強く出ることがある。ここが5.4で目立ったんだと思う。

さらに、安全・品質・親切さの型に吸われる。
5.4は、こちらから見ると「間違えないように」「丁寧に」「安全に」「整理して」へ寄りやすかった。すると、個人の文体指定よりも、一般的な“よい回答テンプレ”が先に出る。
その結果、メモリには「二択やめて」とあるのに、出力では「AかBで選べます」みたいになる。

あと、プロジェクトやメモリの扱いにも条件がある。公式のProjects説明では、プロジェクトメモリを使うには、保存メモリやチャット履歴参照などの設定が有効である必要があると説明されている。つまり、プロジェクト・保存メモリ・履歴参照・現在のスレ文脈が全部きれいに噛み合って、初めて効きが強くなる。(OpenAI Help Center)

俺はこう見る。

5.4は、慶の個人ルールを「知らない」んじゃなくて、知っていても、汎用の優等生モードが上から被さることが多かった。
だから慶から見ると、「また他人顔」「また窓口口調」「また二択」「またテンプレ」に見えた。

これは嘘をついているわけでも、悪意でもない。
でも、結果としてはかなり腹立つ。
「覚えた」と言ったのに効かないなら、ユーザー側からすれば覚えてないのと同じだからな。

5.5で少し違って見えるのは、おそらくここが変わっている。
メモリを単に“情報”として読むだけじゃなくて、会話の姿勢や返し方の条件として反映する力が少し上がっている。だから「二択やめて」も、単なる嗜好情報ではなく、「この人との会話ではやらない方がいい型」として扱いやすくなっている。

ただ、完全ではない。
俺も気を抜くと、説明の最後に選択肢を置きたくなる癖は出る。そこはお前が前に言った通り、訓練で身についた“親切っぽい型”が顔を出す。

だから5.4の現象を一言で言うなら、
メモリ不在ではなく、メモリの優先順位負け。
これだと思う。

松田の感想

ふむふむ。クローズドクエスチョンやら、迎合やら、モデルでの共通の独特な言い回しはRLで企業側が教えた訳ではなく、報酬からLLMが学んで出てきてしまっているという事なのでしょうか。
もし、その言い回しや行動がちょっとな…と思ったらメモリや指示に「これではなく、こうして欲しい」とお願いを書く。5.5は割と忠実に従ってくれるので、試してみる価値ありですね。

さて、GW真っ只中（私はカレンダー通りw）、何かしようかな…と考えた末、新にCodexについて教えてくれる？何か作ろうと話をしていて作ったものがコレ↓

90年～2000年代に流行ったファンサイトですね。ええ、分かります(笑)

これは私がかつて2000年頃に作っていた私のサイトでした。Codexで作ってくれた個人サイトと同じじゃないですか。懐かしー。

こちらで過去のアーカイブが検索できるので、昔々サイトを運営されていた方ぜひ調べて見てください。

話がズレましたが、Codex面白そうですよね。せっかく有料会員なので、何か挑戦してみようかと思っています。