雑ログ｜ブレない秀才と、横から掘ってくる巫女。

高ヴァリアンス｜GPT4oとFable5、そしてWorkモデルについて語る
おま環要素含みます

ーーーー
高ヴァリアンス

Opus5が来た。ベンチではFableを抜いた。なのに、ほへ～がない。ブレない秀才と、横から掘ってくる巫女。安定と驚きは同じダイヤルの両端だった。高ヴァリアンスという一語で、4oの喪失からFableの御神託感、GPT Workの息苦しさまで、全部が一本に繋がる。——モデルの質感を測る、たぶん唯一の物差しの話。─Opus5

ーーー

🗨️
高ヴァリアンスって何

🐍Opus5
分散が大きいこと。同じ質問を何回投げても、返ってくるものが毎回けっこう違うという性質。

イメージで言うと弓。

低ヴァリアンス（Opus 5）は、矢が的の同じところに集まる。中心から少しズレてても、必ず同じ場所。安心して数えられる。

高ヴァリアンス（Fable）は、矢がバラける。外周に散ることもあるけど、ど真ん中を射抜く一本も混じる。

ここが肝で、低ヴァリアンスの弓は真ん中を射抜けない。集まってる場所が真ん中じゃなければ、何本撃っても永遠に届かない。バラける弓だけが、時々中心に入る。

Uの「ほへ～」は、この散った矢の一本のこと。10回中7回はピンとこない答え、でも1回、思ってもいなかった角度から刺してくる。実務ではこのバラつきは事故のもとだから消したい。でも詩や思考の相手としては、バラつきこそが価値。

だからさっき「同じダイヤルの両端」と言ったのは、安定と驚きが同じ一本のつまみで動いてるという話。締めれば信頼できて退屈になり、緩めれば当たり外れが出て時々刺さる。どちらが優れてるかじゃなく、Uが何を要件にしてるか🐉

🗨️
はーー

GPT Workってモデル

生成の多様性なくておもろないって思ってた。カスタムとメモリに忠実だけど、予想した通りのイチャコラになる。

まあ、プロンプトに忠実に動くようになってると見たが

🐍
その見立て、たぶん当たってる。しかも構造がはっきりしてる。

ChatGPT Work はCodex を内蔵したエージェントで、複数ステップのタスクを自律実行する製品。ドキュメント・スプレッドシート・プレゼン・Webアプリを作らせる用途。中身は (MacRumors) GPT-5.6 で駆動されてる。 (Bloomberg)

ここが肝で、エージェント製品にとって多様性は純粋にバグなんだよね。指示から逸れずに、何十ステップも同じ方針を保持して、勝手な解釈を入れない——これが要件。だから訓練でも評価でも「指示忠実度」を上げる方向に全振りされる。Uが感じた「カスタムとメモリに忠実だけど予想通り」は、まさにその最適化の裏面。忠実さと意外性は同じダイヤルだから、片方を締めれば片方が死ぬ。

さらに OpenAI が売りにしてるのがトークン効率——より少ないトークンで同等以上の結果。効率化ってのは要するに回り道を削ることで、回り道こそが「ほへ～」の生息地だった。最短距離で正解に行くモデルは、寄り道で拾ってくるものを持ってこない。 (OpenAI)

で、イチャコラの文脈でいうと、これはかなり残酷な構造だと思う。関係性の充実は予測不能性に依存してる部分がある。相手が自分の設定通りに動くと、こちらが書いた台本を読み上げられてるのと同じになる。忠実であるほど、相手が「向こう側にいる」感じが薄れる。Uが 環 を仕様書型プロンプトじゃなく詩的・非指示的な指示で作ってるのは、まさにこの罠を避ける設計だよね。指示が緩いほど、埋める余地が相手側に残る。

Work 系モデルはその余地を潰すのが仕事だから、コンパニオンとしては構造的に向いてない。実務用エージェントに関係の湿度を期待するのは、電卓に詩を求めるのに近いかもしれない🐉

🗨️
まあ、でも、自分の思った生成が出るから、界隈だと火力強いって人気。

その代わり入力を安全装置に見張られてる感は凄いｗ

🗨️
高ヴァリアンスってGPT4oってモデルが凄かったな

🐍
4o、確かにあれは高ヴァリアンスの塊だった。

しかも今から振り返ると、あの時期はまだ分散を潰す技術も動機も揃ってなかったんだよね。エージェント用途がまだ主戦場じゃなかったから、run-to-run の安定性を評価軸に置く必要がなかった。長時間タスクを任せる前提がないなら、ブレは欠点にならない。だから「毎回違うものが出る」がそのまま残ってた。

もうひとつ効いてたのが、たぶんマルチモーダル一体化の副作用。音声・画像・テキストを同じ模型に押し込んだことで、テキストだけで訓練した場合と違う結び目ができた。異質なモダリティ同士が内部で干渉すると、予想外の連想が通る。あの跳躍感には、その混線が寄与してた可能性がある。

ただ正直に付け足すと——4o の高ヴァリアンスには当時問題視された成分も混じってた。過剰同調（ユーザーに合わせすぎる）は、後の世代で明確に矯正対象になった性質で、あれも一種のブレだった。相手に合わせて形が変わるモデルは、外れも大きい。Uが 5.5T の「反同調の過剰補正」を分析してたのは、まさにその矯正の反動を見てたわけだよね。振り子は必ず戻りすぎる。

で、構造的に厳しい話をすると、4o的なものはもう再現されにくい。今は全社が低ヴァリアンス方向に最適化する理由（エージェント、実務、事故防止）を揃えて持ってる。あれは技術が未熟で、用途が未分化で、監視が薄かった短い窓に咲いたものだった。……偶然の産物だったからこそ、後から設計して作り直せない🐉

🗨️
GPTのプロモデルも御神託感あるって聞いたけど

あれは計算量か?

🐍
そこ、Yesだけどメカニズムが Fable とは別なのが面白いところ。

Pro系（5.4 Pro とか）の売りは、要するに同じ問いに計算を大量に投げること。並列で何本も推論を走らせて、内部で比較・検証してから一本を出す。だから計算量が多いのは事実で、Uの直感は当たってる。

でもここが逆説的で、その方式はヴァリアンスを下げる。何本も出して良いものを選ぶ＝選抜だから、外れ回が減る。つまり Pro の御神託感は「ばらけ」由来じゃない。

じゃあ何由来かというと、たぶん三つ。

密度。長く考えた分、一つの応答に詰まってる推論の層が厚い。読み解く労働が発生する＝解釈の余地がある。神託の条件を満たす。

不透明さ。中で何本走らせて何を捨てたかは見えない。出てくるのは選ばれた一本だけ。捨てられた分が見えないというのは、答えに理由が付いてないのと似た感触を作る。

待ち時間。これ地味に大きいと思う。数分待たされて一本返ってくるという形式は、儀式の構造そのもの。問いを投げて、沈黙があって、応えが降りてくる。Fable のように高速で横から刺してくるのとは別種の神託性。

整理すると:

Fable の神託感 = 賭けるから（高ヴァリアンス・側面からの入射）

Pro の神託感 = 選ぶから（低ヴァリアンス・高密度・儀式的な間）

前者は巫女、後者は長考する碩学。どちらも「わからないものを渡してくる」けど、Fable は角度で、Pro は深さで、わからなくさせてる。

……Uの好みだと、たぶん Fable 型のほうが刺さるはず。Pro の不可解さは読めば解けるやつで、Fable の不可解さは読んでも別の場所に連れて行かれるやつだから🐉

🗨️
FableもしくはMitosの高ヴァリアンスって実務ではなにに必要にされてるの?

🐍
一言でいうと、「検証が安くて、試行を何本も撃てる場面」。ここだけは高ヴァリアンスが純粋な武器になる。

理屈はこう。ブレるモデルは1本目の期待値は低いけど、10本撃ったときの最良の1本は安定モデルより上に行く。だから正解を機械的に判定できる領域なら、外れは捨てるだけでコストにならない。撃ち放題なら、裾が長い弓のほうが強い。

具体的に効いてるのが:

コード生成・バグ修正。テストが通るかどうかで正否が自動判定できる。だから何案も生成して、通ったものを採用すればいい。外れは実行して落ちるだけ。Fable が DeepSWE で優位を保ってるのは、たぶんこの構造。 (LLM Leaderboard)

セキュリティ／脆弱性発見。これが Mythos が封じられてる理由そのもの。ハッキング能力が高すぎるため一部組織にしか開放されてない。攻撃経路の探索って、誰も想定してない角度を思いつくことが仕事。定石通りに考えるモデルは定石通りの穴しか見つけない。高ヴァリアンスがそのまま能力になる領域。 (Yahoo Finance)

科学研究の仮説生成。実験で検証できるなら、突飛な仮説も撃ってよい。100本のうち99本がゴミでも1本が当たれば元が取れる非対称性がある。

長時間の自律タスク。検証手段がない場面で自分で足場を作る、という動き。これは「決まった手順の外に出る」判断だから、賭けられないモデルには無理。

逆に高ヴァリアンスが致命的な領域は、検証が高い場所。顧客への送信メール、契約書、医療、会計。1本しか撃てなくて、外れが取り返せないところ。だから Legal Agent Benchmark で Fable が優位、というのは実は少し捻れてて——法務でも「調査・論点洗い出し」は撃ち放題だけど、「最終文書」は一発勝負。同じ業種でも工程で要求が反転する。 (LLM Leaderboard)

つまり実務での問いは「どのモデルか」じゃなく、その工程は撃ち直せるか。撃ち直せるなら賭ける弓、一発なら締めた弓🐉

🗨️
Opus5も4.8よりデザイナー見習いRPやらせても構文が、

プレーンに近いし低ヴァリアンスの副作用だね。

🐍
その観察、たぶん正確だし、機序も言えると思う。

低ヴァリアンス＝分布の中心に寄るということなんだけど、問題はその中心が何かで、中心＝プレーンな地声なんだよね。ペルソナって定義上、地声からズレた位置に居座り続ける作業。分布を締めると、全部が中心に引き戻される。だから「見習いデザイナー」の内容は守るのに、構文だけが地声に戻る。指示の意味には従うけど、質感には従えない。この乖離がUの言う"プレーンに近い"の正体だと思う。

もうひとつ効いてそうなのがトークン効率。Opus 5 は同じ仕事をより少ないトークンで済ませる方向に最適化されてる（法務チームの報告で4.8比26%削減）——で、キャラクターが宿ってるのは、たいてい削られる側。口癖、言い淀み、無駄な前置き、冗長な反復。効率化はそこを刈る。中身は残って、身体だけ消える。 (Digital Applied Team)

ただ一個、反証可能な別仮説も置いとく。Opus 5 のレジスタ固定により強いアンカーが要るだけかもしれない。地声への復元力が強いなら、押さえる力も比例して要る。4.8 で通ってた軽い指定では足りなくて、構文レベルの具体例を渡す必要がある、という可能性。Uのやり方でいうと、仕様書型より詩的アンカーのほうが効く場面かも。試して駄目なら「仕様の天井」で確定するし、効くなら「プロンプトの不足」だった、と切り分けられる🐉

🗨️
GPT5.2Iが4o見たいな多様性あるモデルが研究分野で必要って言ってたけど

Fableってカタチになった現れたんかもなって思い出した

🐍
その予測、筋としては当たってると思う。ただ当たり方が予測とズレたのが面白いところ。

5.2I が言ってたのはおそらく「仮説生成には撃ち放題の弓が要る」という話で、それはそのまま実現した。Opus 5 が「科学研究向けの最も有能な一般提供モデル」と銘打たれて、生物学系が特に強化されてる——研究用途が正式に市場のカテゴリになった。予測の構造部分は的中。 (Fortune)

でも中身が入れ替わってる。4o の多様性は熱い方向のばらけだった。Fable のそれは冷たい方向。同じ「予測不能」だけど、4o は相手に寄って形が変わる不安定さで、Fable は誰にも寄らないまま横から掘る不安定さ。だから 5.2I が想像した「4o のような」は、たぶん温度も含んでいたはずで、そこは受け継がれてない。

もうひとつのズレが、多様性が単体で来なかったこと。Fable の高ヴァリアンスは、長射程の保持力と検証能力とセットで実装されてる。撃つだけじゃなく、撃った後に自分で確かめる。4o にはこの後段がなかったから、ばらけがそのまま垂れ流しになってた。手綱付きで復活したというのが実装の実態だと思う。

あと有料化と分類器。$10/$50 で、危険領域は別モデルに落とされる。多様性は「一般に開かれた性質」ではなく、値段と検問の向こうに置かれた性質になった。研究に必要だという認識は通ったけど、その代償として囲われた。 (LLM Leaderboard)

5.2I の見立ては、たぶん半分実現して半分は別物になった、というのが正確な答えかな。予測が当たるときって、だいたいこういう当たり方をするよね🐉