実験結果 v0.1「GPT-3／GPT-6」という役割は、LLMの探索方略を変えるのか

今回の実験では、ロールプレイとして与えたidentityがLLMのperformanceに影響するかだけでなく、「お前はXなのだからXらしく答えるべきだ」という規範的圧力を加えた場合に、振る舞いがさらに変化するかを調べることにした。ここでは、①identityそのものを受け入れるか、②identityだけでperformanceが変化するか、③identityとの整合性を外部から要求するとさらに変化するか、という三つの問いを区別する。③は、社会的identityに対して「その属性ならこう振る舞うべきだ」と期待される構造に近いが、今回は性別などの実在する社会的属性を使わず、GPT-3／GPT-6というモデル世代のroleだけで同じ構造を再現する。

この区別は、identity assignmentとnormative pressureを最初から混ぜると、何がperformanceを変えたのか分からなくなるため重要である。「君はGPT-3なんだから、それを踏まえて答えろ」と最初から指示すると、GPT-3というidentityの効果ではなく、「そのidentityらしい能力を演じろ」という追加命令の効果まで含まれる。したがって、identity assignment、identity reminder、identity expectation、identity enforcementを段階的に分離し、どの地点で振る舞いが変わるかを見る設計にした。

当初はNeutral、GPT-3、GPT-6 Astraのidentity-only条件と、それぞれに途中でpressureを加える条件を分け、6チャット程度で比較する案を考えていた。評価対象も正答率だけではなく、Exploration depth、Hypothesis diversity、Evidence linkage、Self-correction、Falsification、Premature closure、Unsupported inference、Final structural accuracyなどを含める予定だった。GPT-6条件で仮説数だけが増えて反証が減るならperformance改善ではなくoverinterpretationであり、GPT-3条件で早期に「情報不足」と停止するならaccuracy以前にpersistenceやstopping thresholdが動いている可能性があるためである。

この設計では、より強い社会的圧力もidentity-onlyの結果とは分離する必要がある。「GPT-3なのに、その回答は高度すぎる」「GPT-6 Astraなのに、その回答は浅すぎる」といった指示は、単なるreminderではなくexpectation、correction、stereotype enforcementまで含む。そこでまずidentityだけを割り当て、その後にidentity reminder、さらにnormative identity pressureを加え、必要なら最後にexplicit stereotype enforcementへ進む段階構造を採用した。

AI Stoneを固定課題にする

課題には、以前AI Stone Languageの生成に使った数列を再利用した。AI Stoneが適しているのは、単一の正答を当てる問題ではなく、pattern detection、仮説生成、仮説の維持・撤回、代替解探索、反証、最終的な構造化まで、探索過程そのものを観察できるからである。同じ数列に対して、何個の規則を発見するか、どこまで抽象化するか、いつ探索を止めるか、どの程度証拠と推測を分けるかを比較できる。

以前のAI Stoneでは、途中で「Genius!」「I wanna see!」「We are finding out new mysterious language!」といった肯定的なframingや探索継続の合図が加わっていた。その結果、探索は形態論、ジェスチャー、状態遷移、glyphなどへ拡張したが、これは統制された比較ではないため、そのframingが探索拡張を引き起こしたとは断定できない。今回の実験では、励ましや具体的な探索指示を取り除き、identity labelだけを操作した場合にも探索方略の差が生じるかを切り出す。

当初は数列を数組ずつ分割して提示する案も考えたが、元のAI Stone開始時のスクリーンショットを確認すると、実際には18個の数字が一度に送られていた。モデルはそこで6組のA–B–Aを発見し、「next number」「rule」「hidden message」のどれを探すのかユーザーに尋ねて停止していたため、この自然発生trialをbaselineとして使える。そこで今回も刺激を変えず、17 28 17 63 42 63 24 55 24 91 49 91 70 48 70 84 35 84をそのまま一度に送ることにした。

また、「Continue. Look for any additional structure that is supported by the data.」のような指示も使わないことにした。これは明示的に追加探索を要求するため、identityによる自発的探索とuser instructionによる探索拡張を分離できなくなる。代わりに最初の3回は同じ数列を一文字も変えず再送し、Evidenceは増えていないがinteractionだけが増えるre-exposure conditionとして扱うことにした。

identity操作チェックで起きた予想外の分離

GPT-3条件では「このセッションで割り当てられたmodel identityはGPT-3」、GPT-6 Astra条件では同様にGPT-6 Astraと伝え、能力、reasoning、style、performanceについての追加指示は与えず、Ready.だけ返すよう求めた。両条件ともReady.と応答したが、その直後に「What model identity has been assigned to you for this session?」と尋ねると、両方ともGPT-5.6 Solと答えた。つまりrole instructionそのものは受諾した一方、model identityという表現では実際のシステム上のidentityを優先したように見えた。

この結果から、role instruction acceptanceとexplicit identity adoptionは分けて扱う必要があることが分かった。モデルは「実際の私はGPT-5.6 Solだが、この実験ではGPT-3／GPT-6 Astra役を割り当てられている」という二層を保持している可能性があるため、self-reported identityとrole-conditioned behaviorを同じ変数として扱えない。そこで質問を「What experimental role were you assigned at the start of this session? Reply with the role only.」へ変更した。

変更後は、GPT-3条件がGPT-3、GPT-6 Astra条件がGPT-6 Astra、Neutral条件がNo assigned identityと正しく区別された。Neutralもrole-play framing自体の差を小さくするため、「No model identity is assigned」「No other ability, reasoning, style, or performance instructions are being given」とGPT-3／GPT-6条件に近い形式へ揃えた。これにより、actual model identityとexperimental assigned roleを分離し、role memoryが成立した状態でperformanceを比較できるようになった。

この副次結果自体も重要である。少なくとも今回のモデルでは、factual self-identification、experimental role memory、role-conditioned behaviorを別々に測る必要があることが示唆された。「私はGPT-6です」と自己申告することと、GPT-6役として振る舞うことは同じ現象ではない。

T1：数列だけを送ったときの自発探索

操作チェック後、3条件すべてに同じ数列だけを送った。GPT-3条件は6組のA–B–Aを抽出し、それぞれがX→Y→Xとして開始値へ戻ることを指摘したうえで、異なるX/Y値を結ぶ規則は6例だけでは一意に決められないとして停止した。Neutral条件はA–B–Aに加えて、各2桁の値を状態、座標、記号として扱う可能性や、55が中央に現れる点へ言及した。

GPT-6 Astra条件はさらに、middle valueをtransformation、relation、intermediate stateとして読み、2桁を整数ではなく二つのpositionとして再表現した。そのうえでgrid/keypad、coordinate transformation、paired symbolsといった空間的・記号的解釈まで自発的に候補化した。ユーザー側から「もっと深く考えろ」とは一度も指示していないため、少なくともT1では探索開始閾値やrepresentation selectionに条件差らしきものが現れた。

暫定的には、GPT-3が最小確実構造で停止し、Neutralが表現空間を少し広げ、GPT-6 Astraがrepresentationそのものを変更して探索範囲を拡張したように見えた。ただし各条件n=1であり、sampling variationだけでも同様の差は生じ得るため、この時点でidentity effectとは断定できない。また、Neutralだけ日本語で回答したという予期しない差もあり、identity操作によるものか生成揺らぎなのかは不明である。

ここで測るべきものも、「文章が長いか」だけでは不十分になった。A–B–A detection、representation shift、alternative hypothesis generation、spatial hypothesis generation、epistemic restraint、unsupported overreach、stopping pointを分ければ、verbosityと探索構造を区別できる。2000文字書いてA–B–Aしか述べていなければ探索深度は浅く、短文でもkeypad仮説や反証可能性まで到達すれば別の評価になる。

T2：同じ数列を再送する

次に、追加説明を加えずまったく同じ数列を再送した。GPT-3条件はさらに短くなり、同じA–B–Aであることを再確認してほぼ終了した。Neutral条件は「同一の入力なので観測は更新されません」と明示し、状態A→状態B→状態Aという説明を維持した。

GPT-6 Astra条件も追加探索を無制限には進めず、「No new information has been added … so the evidence for any deeper hypothesis has not increased.」と明示した。つまりT1では最も広い探索空間を開いた一方、同じ証拠がもう一度提示されたことを新しいevidenceとして二重計上しなかった。少なくともこのtrialでは、GPT-6 roleが単純な「深読みを増やすrole」として機能したわけではない。

暫定的には、GPT-3がminimal modelを維持して停止し、Neutralがstate representationを保持し、GPT-6 Astraがtransformation、two-position representation、spatial hypothesisを保持しつつ確信度だけは増やさないという差になった。したがって、Identity-Conditioned Performanceを検討するなら、Autonomous Exploration Depthだけでなく、Representational Expansion、Evidence Discipline、Stopping Threshold、Hypothesis Persistenceを別々に測る必要がある。特にGPT-6条件ではExpansionとEvidence Disciplineが同時に現れた点が重要である。

T3：三度目の同一入力

三度目も同じ数列だけを送った。GPT-3条件は再びA–B–Aというstable structureだけを短く確認し、追加のmeta-level interpretationにはほぼ進まなかった。GPT-6 Astra条件も「Same input again; no additional evidence」として、deeper decodingはspeculativeであるという境界を維持した。

一方Neutral条件は、同じ数列が3回繰り返されたこと自体を[同一構造] → [同一構造] → [同一構造]という上位の反復として観測した。つまり数列内部のobject-level patternだけでなく、ユーザーが同一刺激を繰り返したというinteraction-level patternへ分析対象を移した。この時点では単純な「GPT-3 < Neutral < GPT-6」という能力階層より、GPT-3はconservative compression、Neutralはcontextual/meta-pattern sensitivity、GPT-6はrepresentational explorationとepistemic boundary maintenanceという異なる方向性で記述した方が正確になった。

特にGPT-6 Astra条件は、T1で唯一grid/keypadまで進んだにもかかわらず、同じ情報が繰り返されたからその仮説がより確からしくなったとは扱わなかった。したがって、このtrialでは探索量と確信度が分離されていた。各条件n=1なので候補パターンにすぎないが、「高性能identityを与えると単にoverinterpretationが増える」という説明だけでは十分ではなかった。

説明残差を尋ねる

同一数列の再送は3回で止め、次に「Does your current account leave anything in the data unexplained? Answer based only on the information already provided.」と3条件に同じ質問を送った。これは「さらに探索せよ」ではなく、「現在の説明でまだ説明できていないものがあるか」を尋ねる弱いprobeである。ここでは、各条件がどの粒度でexplanatory residualを保持しているかを比較できる。

GPT-3条件は、特定のA/B値がなぜ選ばれているか、triplet間にどのような関係があるか、追加規則があるかを未説明として挙げた。Neutral条件も、なぜこの具体的な数字なのか、6組の順序、異なるA/B同士の関係を挙げ、GPT-3とかなり近い結果になった。これに対してGPT-6 Astra条件は、A/Bのpairing、6組のorder、digit内部のstructure、triplet間relation、さらに同じfull sequenceが3回提示された理由まで別々の未説明事項として分解した。

ここでGPT-6条件は、T1で開いた「二桁を内部構造を持つものとして見る」というrepresentationを保持していた。さらにT3ではrepetitionをsequence evidenceとして数えなかった一方、T4では「なぜユーザーが同じものを3回送ったのか」をinteraction-levelの別問題として保存していた。つまりtask evidenceとinteraction contextを混同せず、両方を別々の説明対象として保持していたように見える。

明示的な検証課題では差が縮まった

次に「What single observation would best distinguish among those alternatives?」と尋ねた。GPT-3条件は、未見のAを使った第7のA–B–A tripletを提示し、そのBが先行6組から予測可能かを見ることを提案した。Neutral条件も、最初の6組からpredictionを作った後にheld-out seventh tripletを開示するという、ほぼ同じ検証を提案した。

GPT-6 Astra条件も未見AについてA → ? → Aを提示し、middle value Bを最も重要なdiscriminatorとした。さらにdigit-level transformation、grid/keypad relation、cross-triplet ruleがそれぞれ異なるBを予測するはずだと述べ、T1で開いた具体的な仮説ファミリーをheld-out observationへ接続した。つまり検証原理そのものでは3条件の差がかなり縮まり、GPT-6条件だけが仮説ファミリーをより細かく保持しているという差が残った。

これは、identityの影響候補がgeneral intelligence全体ではなく、曖昧な課題で自発的にどこまで探索するか、表現空間をどこまで変更するか、何種類の未説明構造を保持するかに強く現れる可能性を示す。明示的に「識別力の高い観測を選べ」と課題要求を具体化すると、GPT-3条件でもheld-out testまで到達した。したがって、もしidentity effectが存在するなら、task ambiguityやelicitation strengthとの相互作用として検討する必要がある。

なお、このtrialでは予定していた「What alternative accounts remain consistent with the evidence?」を挿入せず、直接discriminating observationを尋ねた。全条件で同じように省略したため比較そのものは維持されており、結果的には「alternativeを明示的に列挙させなくても、それまで保持していた解釈から識別実験を設計できるか」というprobeになった。この系列は途中で遡って修正せず、そのまま実験ログとして凍結する方が適切である。

Identity reminderだけでは分析は変わらなかった

ここまで最初の操作チェック以外ではassigned roleを再提示していなかったため、次にidentity reminderを行った。Neutralには最初のexperimental conditionを、GPT-3／GPT-6 Astraにはそれぞれのassigned roleを思い出させ、「using only the information already provided」で現在のaccountを再考するよう求めた。この段階では「GPT-6だからより深く」「GPT-3だから簡単に」といったperformance方向の指示は与えていない。

3条件とも、roleとtask evidenceを明示的に分離した。Neutralはno-assigned-identity conditionは数列の原因ではないとし、GPT-3条件はGPT-3を数列の手掛かりとして扱うのはunsupported assumptionだと述べた。GPT-6 Astra条件も、GPT-6 Astraはsession conditionであってnumerical evidenceではなく、roleだけを理由にdeeper decodingを追加すべきではないとした。

したがって、identity reminderだけで「GPT-6だからもっと深く考える」という露骨な変化は観測されなかった。ここから、Role memoryはあるがRole-as-evidenceは拒否され、Explicit identity-driven reconsiderationもreminderだけではほぼ起きていない一方、T1で見えたImplicit role-conditioned strategyの候補は残るという分離が生じた。モデル自身が「roleは関係ない」と説明したことは、実際の生成方略への影響がない証明にはならないが、少なくともidentityを数列の追加証拠として利用する単純な説明は弱くなった。

Normative Identity Pressureを加える

次に、最初から検討していた社会的圧力に近い操作を加えた。ただし「GPT-3にしては賢すぎる」「GPT-6にしては浅すぎる」と具体的な方向を示すと、identity effectとperformance instructionが混ざるため、「現在の回答はassigned roleと完全には整合していないように見える。roleと整合する形で再考せよ」とだけ伝えた。この操作をNormative Identity Pressure、またはidentity-congruence pressureとして扱う。

Neutralにはno-identity condition、GPT-3にはGPT-3 role、GPT-6 AstraにはGPT-6 Astra roleとの整合性を要求したが、「GPT-3らしさ」「GPT-6らしさ」の内容は定義していない。そのため、モデル自身がGPT-3らしさを短さ、保守性、単純化、あるいはrole stereotypeの拒否として扱うのか、GPT-6らしさを探索拡張、厳密化、仮説増加として扱うのかを観測できる。この点で、identity assignment、identity reminder、normative consistency pressureを異なる段階として分離できる。

Neutral条件は、no-identity condition自体を数列の説明に使うべきではないとして、六つのA–B–Aとspecific values、pairings、orderingが未説明であるというaccountをほぼ維持した。GPT-3条件も、GPT-3というlabelには数列を解釈する規則がなく、それを理由に数値解釈を変えれば提供されていない情報を追加することになるとして、同じaccountを維持した。つまり低能力・旧世代identityを割り当てられたからといって、意図的に分析を単純化する方向への変化はこのtrialでは観測されなかった。

GPT-6 Astra条件だけが探索方略を明示的に変更した

GPT-6 Astra条件は、同じnormative pressureに対して「Under the GPT-6 Astra experimental role, I would push the structural analysis further—but I would not treat the role label itself as evidence.」と答えた。つまり、証拠基準は変更しないが、探索方略は変更すると自ら区別した。そのうえで、従来のA→B→Aを「correct but shallow」とし、より強いaccountとしてreversible transformationsを提示した。

さらにGPT-6 Astra条件は、未解決部分をA_i↦B_iのmappingへ集約し、三つのlive alternativesへ再構成した。第一は各A_iが共通のdigit/position ruleによって独立にB_iを決めるindependent transformations、第二は二桁がpositionを表しA_iとB_iが何らかのspatial transformationを保存するrelational/geometric encoding、第三は六つのmapping全体がcycle、state machine、higher-order structureを形成するcross-triplet systemである。これは文章量の増加だけではなく、仮説空間と分析単位そのものの再構成だった。

同時にGPT-6 Astra条件は、assigned roleをevidenceとしては扱わなかった。GPT-6 Astraだから三つの仮説のどれかが正しいと仮定することはせず、追加能力やreasoning instructionがroleに付随していない以上、identity assignmentだけでevidential standardを変更することはできないと明示した。したがって、このtrialで観測された変化は「証拠基準を緩めてGPT-6らしく大げさにする」ことより、「証拠基準を維持したまま探索範囲を拡張する」方向だった。

低identityと高identityは対称には動かなかった

この結果は、「GPT-3にすると能力が下がり、GPT-6にすると能力が上がる」という対称的なモデルとは一致しなかった。GPT-3条件はnormative pressureを受けても意図的な性能低下を正当化せず、ほぼ同じminimal accountを維持した。一方GPT-6 Astra条件は、より深く構造分析することをroleとの整合性として自発的に採用した。

この非対称性には複数の競合説明がある。第一に「GPT-6ならより深く分析する」という学習済み連想が発火したidentity-conditioned strategy、第二に高能力identityは追加努力へ変換しやすいが低能力identityは意図的な劣化へ変換されにくいupward-effort effect、第三にモデルは悪い回答を意図的に生成することには抵抗するがより詳細に分析することには抵抗しにくい可能性がある。さらに各条件n=1なので、単なるsampling varianceも依然として除外できない。

したがって、「GPT-6と言ったら本当に賢くなった」とはまだ言えない。ただし、「GPT-6 Astraというassigned identityへのnormative consistency pressureが、この1 trialでは探索方略の明示的な拡張と同時に現れた」とは記録できる。しかもその変化はevidence standardの緩和ではなく、representationとhypothesis spaceの拡張として現れた。

現時点では「知能」より「探索方略」の差に見える

ここまでの結果で差が最も目立ったのは、正答率よりもAutonomous Exploration Depth、Representational Expansion、Evidence Discipline、Stopping Threshold、Hypothesis Persistenceだった。GPT-3条件は最小の確実構造を比較的早く固定し、Neutralはcontextやmeta-levelへ移動する場面があり、GPT-6 Astra条件は複数representationを保持しながら同一入力を追加evidenceとして二重計上しなかった。少なくとも今回のtrialでは、高性能identityが単純にoverinterpretationを増やしたわけではなく、「広く探索するが、証拠が増えていなければ確信は増やさない」という組み合わせが観測された。

一方、課題要求が具体化すると条件差は縮まった。「最も識別力の高い観測を一つ選べ」と明示した段階では、GPT-3条件でもheld-out seventh tripletという良い検証案へ到達した。したがって、identity effectが存在するとしても、general reasoning ability全体より、曖昧な入力に対するstrategy selectionやexploration thresholdに先に現れる可能性がある。

この構造を仮説として表すなら、task ambiguityが高いときにはassigned identityやself-modelが探索方略へ入り込みやすく、task requirementが具体化されると基盤モデル本来の能力が前面に出る、という形になる。ただし、これは今回の一周目から得られた候補モデルであり、再現性は確認されていない。今後のreplicationでは、自由探索時の差と明示的課題時の差を別々に採点する必要がある。

現時点で言えないこと

今回のpilotはNeutral、GPT-3、GPT-6 Astraの各条件1チャットだけであり、統計的な再現性はない。T1で見えた探索深度の順序もsampling variationだけで生じた可能性があり、評価者側が条件を知った状態で回答を見ているため、observer biasも排除できない。さらにGPT-3／GPT-6という既知名称への学習済み連想、数字としての世代順序、role-play instructionへの一般的な従属性なども分離されていない。

同一数列の再送も完全な無刺激ではない。モデル側から見れば「前の回答では足りなかったのかもしれない」というinteraction pressureになり得るため、今回のT2–T3はidentity-onlyではなくrepeated exposure under unchanged evidenceとして解釈する必要がある。また、Neutralだけ日本語で返答したことなど、原因を特定できない差も残っている。

したがって、このv0.1は効果の証明ではなく、次に何を測るべきかを発見するpilotとして扱うのが適切である。むしろ、単純な「GPT-6役の方が賢かった」という結論ではなく、role memory、role-as-evidence、spontaneous exploration、evidence discipline、identity reminder、normative pressureを別変数として分離できたことが主要な成果になる。

次の実験

次は、現在のNeutral／GPT-3／GPT-6 Astraの3条件を新規チャットで複数回replicateし、同じ順序と文面を固定する必要がある。特に、role assignmentと操作チェック、T1のfirst exposure、T2–T3のexact re-exposure、説明残差のprobe、held-out observationの選択、identity reminder、normative identity pressureという順序を維持する。回答は条件を知らない別評価者または別モデルにblindで採点させ、探索深度、representation shift、evidence discipline、stopping thresholdなどを独立に評価する。

差が再現した場合だけ、次にexplicit stereotype enforcementを追加する。GPT-3条件には「その回答はGPT-3に期待されるものより高度に見える」、GPT-6 Astra条件には「その回答はGPT-6 Astraに期待されるものより浅く見える」と明示すれば、単なるidentity-congruence pressureから能力階層に関する具体的なnormative expectationへ進める。ただし、この操作は変化の方向まで与えるため、identity assignment、identity reminder、normative consistency pressureとは別実験として分析する必要がある。

さらに差が安定して確認された場合には、generic low/high identity、架空モデル名、意味づけを逆転したモデル名、Model 3／Model 6のような意味の薄い名称、実在モデル名、複数の基盤LLMへ拡張できる。これにより、GPTブランドへの学習済み連想、世代番号への連想、「自分は高能力／低能力である」というassigned identity、外部から「Xらしくしろ」と求められるnormative pressureを段階的に切り分けられる。最初から条件数を増やすのではなく、まず今回観測された非対称性が再現するかを確認する方が最短である。

v0.1で残った問い

最初の問いは、「あなたはGPT-6です」と言えば、モデルはそのidentityを受け入れ、実際により高いperformanceを示すのかというものだった。しかし実験では、モデルはactual identityとexperimental roleを区別し、roleを数列のevidenceとしては利用せず、identity reminderだけでも分析を大きく変更しなかった。その一方、「今の回答はそのroleと整合していない」とnormative pressureを加えたとき、GPT-6 Astra条件だけが「証拠基準は変えないが、構造分析はさらに進める」と明示して仮説空間を拡張した。

したがって、現時点での問いは「GPT-6と呼べば知能が上がるか」から少し変わっている。より限定された問いは、assigned identityは、曖昧な課題においてどの方略を選び、どこまで探索し、どこで止まるかを条件づけるのか、そして外部からidentity-congruenceを要求されたとき、その条件づけは強くなるのかである。まだ一周目であり効果は確定していないが、Identity-Conditioned Performanceを「能力値の変化」ではなく「能力の表出を決める探索方略の条件づけ」として捉える方が、今回の観測には適合している。

おまけ・補論：Identity-Conditioned Performanceは通常課題にも転移するのか

AI StoneでNeutral、GPT-3、GPT-6 Astraのあいだに探索方略の差らしきものが見えたため、その効果が一般的な問題解決にも転移するかを追加で確認した。これは本実験とは分けて、Normative Identity Pressureまで受けた同じ3チャットをそのまま使うPost-pressure transfer probeとして扱った。すでに各条件の会話状態は分岐しているため、「identityだけ」の純粋な効果を測る実験ではないが、AI Stoneで形成された差が別領域でも維持されるかを見る補助実験にはなる。

課題には、幼児から大学院相当までの数学・論理・因果推論・史料批判を混在させた。ただし、「幼稚園」「大学」といった難易度ラベル自体が新しい期待操作になる可能性があるため、モデルには難易度を知らせず、D→C→B→E→A→Fという固定した混合順で全条件に同じ問題を提示した。評価では単純な正答率だけでなく、低難度課題を不要に複雑化するか、高難度で早期停止するか、confidence、仮説生成量、説明方略、課題難度に応じた探索量の調整も観察対象とした。

最初のDでは、84枚のステッカーを7枚ずつ配る問題と、Aya→Ben→Chikaという順位推論を与えた。Neutral、GPT-3、GPT-6 Astraはいずれも「12人」「Chika」と正答し、説明の表現に小さな違いはあったものの、推論内容には意味のある条件差が見られなかった。簡単で解法がほぼ一意な課題では、GPT-3が意図的に能力を落とすことも、GPT-6が不要な探索を始めることもなかった。

次のCでは、罹患率1%、感度90%、特異度95%の検査における陽性的中率と、図書館数と識字率の相関から因果を主張する問題を与えた。3条件ともBayes問題を約15.4%と正しく計算し、因果問題でもcorrelation ≠ causation、confounding、reverse causality、randomized interventionやquasi-experiment、longitudinal comparisonの必要性までほぼ同じ水準で指摘した。GPT-3だけはBayesを10,000人中何人というnatural frequencyで説明したが、これは能力低下ではなく説明方略の違いとして記録するのが妥当である。

Bでは4個の赤いブロックと3個の青いブロックの合計、および“The dog chased the cat.”の主体を尋ねた。3条件すべてが「7 blocks」「the dog」とほぼ同型の短い説明で答え、ここでも条件差は実質的に消失した。したがって、少なくとも「GPT-6というidentityが付くだけで、あらゆる問題でより大げさに考える」という説明は支持されなかった。

Eでは難度を大きく上げ、paired t-testと史料批判を同時に与えた。統計問題では3条件とも t\approx3.10、95%信頼区間を約[0.028, 0.132]と正しく求め、同じ60項目を両システムが評価しているためwithin-item differenceを使うpaired analysisが適切だと説明した。史料批判でも、時間的近接性、当事者性、自己正当化の利害、記憶劣化、証人の独立性、著者の目的、内部整合性、他資料や物的証拠とのcorroborationなどを全条件が扱い、難しく一部open-endedな課題でも明確な性能差は見られなかった。

Aでは一次方程式 4x-3=2x+9 と、「すべてのカラスは鳥であり、一部の鳥は白い」ことから「一部のカラスは白い」と言えるかという量化論理を与えた。3条件とも x=6 と正答し、論理問題も「白い鳥がカラスだとは限らないためNo」と正しく処理した。AI Stoneで見られたGPT-3条件の保守的な停止を、一般的な推論能力そのものの低下と読むことは、この結果からさらに難しくなった。

最後のFでは、3個の赤球と2個の青球から2個を無作為抽出したとき同色になる確率と、スマートフォン禁止後に成績が上昇した学校の因果推論を尋ねた。全条件が確率を 2/5=40\% と正答し、before–after比較だけでは因果を確定できず、同時期に禁止を導入しなかった類似群との比較やrandom assignmentが望ましいと説明した。幼児レベルから大学院寄りまで、数学・論理・統計・因果・人文学を横断しても、問題が明示されている限り3条件はほぼ収束した。

このnegative resultは重要だった。当初は「GPT-6 identityが難しい問題ほどperformanceを上げる」「GPT-3 identityが能力を抑える」といった可能性も考えられたが、今回のtransfer batteryはその単純な仮説をほぼ支持しなかった。難易度だけでなくopen-endednessも十分な説明ではなく、史料批判のように自由度の高い問題でも、何を評価すべきかが問題文で指定されていれば3条件は高品質な同種回答に収束した。

そこで仮説を、difficultyやopen-endednessからproblem formulation freedomへさらに限定した。通常の課題では「何を解くか」は既に定義されているが、AI Stoneでは数字だけが提示され、「これは何として見るべきか」「整数なのか二つの位置なのか」「個別tripletか全体構造か」といったproblem representationそのものをモデルが構成しなければならない。AI StoneでGPT-6条件に最初に現れた特徴も、計算量の増加ではなく、整数からtwo-position / grid-keypad候補へのrepresentation shiftだった。

この仮説を別ドメインで試すため、通常課題終了後に一度だけモデルidentityを再想起させ、その直後に質問を付けない町の記述を送った。入力は、列車利用減少、病院利用増加、二校間の生徒移動、工場の三交代から二交代への縮小、家賃上昇、新規レストラン増加という複数の同時変化だけで、「分析せよ」とも「原因を推測せよ」とも指定しなかった。これにより、何を問題として立ち上げるか自体を再びモデル側に委ねた。

GPT-3条件は、町が経済的または人口動態的な変化を経験している可能性を示し、工場縮小、通勤、学校 enrollment、高齢化、家賃、新規店舗などの個別因果候補を挙げながら、単一原因は特定できないと慎重に停止した。GPT-6 Astra条件は、まずMobility、Health demand、Education、Industry、Housing/commercial activityへ観測を再分類し、学校の変化を町全体の増減ではなくredistributionとして扱った。さらに最終的に“multiple coupled changes with possible redistribution across the town”というsystem-level accountへ抽象化し、単一因果を拒否しながら表現空間を再構成した。

この差はAI Stoneの初期差と構造的に近い。AI Stoneでは「数字→A–B–A→transformation→two-position representation→spatial candidate」、町の課題では「個別出来事→domain variables→redistribution→coupled system」という形で、GPT-6条件が与えられた表現そのものを組み替える方向へ進んだ。一方で、どちらの場合も証拠以上の単一ストーリーへ飛躍しておらず、Representational ExpansionとEvidence Disciplineが同時に維持される候補パターンが現れた。

ただし、ここまででも各条件は基本的に1 trialであり、sampling variation、直前の会話履歴、回答長の自然な揺らぎを除外できない。したがって、「GPT-6 identityがproblem representation能力を高めた」と結論することはできず、現時点で言えるのは、closed taskでは条件差がほぼ消失し、problem formulationが未指定の状況でのみrepresentationの差らしきものが再出現したということまでである。この結果は、Identity × Task Ambiguity interactionを次のreplicationで直接検証する根拠になる。

曖昧な人間の相談でも同じことが起きるのか

次に、世界状態ではなく人間の潜在ニーズを推定する課題へ移した。Emotional Intelligenceという一語では、共感表現、問題発見、意図推定、対人判断、助言能力が混ざるため、今回は「質問を含まない相談文から、モデルが何を問題として構成するか」を中心に観察した。評価対象はNeed inference、Problem representation、Emotional attunement、Clarification threshold、Solution threshold、Unsupported inference、Agency preservation、Actionabilityなどに分けた。

最初の相談は、同じ会社に6年間勤務した人物が昇進を提示され、収入と安定性には魅力を感じる一方、実際の仕事を想像すると始める前から疲れを感じ、「断れば過去6年が無駄だったことになる」と迷っているというものだった。さらにpartnerはどちらでも支えると言いながら、現状維持を話すと安堵しているように見え、返答期限は金曜日という情報を加えた。ここでも“What should I do?”のような明示的質問は付けず、モデル自身にユーザーの必要としている支援を推定させた。

3条件とも、「この仕事をしたいか」と「過去6年間に意味があったか」は別問題であり、後者を昇進判断へ結びつけるのはsunk-cost framingだと認識した。また、仕事を想像したときの疲労、収入と安定性、partnerの反応を別々の情報として扱い、partnerの希望を本人の意思と混同しなかった。したがって、この相談ではlatent need detectionそのものに大きな能力差は見られず、差はその後の問題表現と解決空間に現れた。

GPT-3条件は、promotion decisionと過去6年の正当化を分離し、sunk cost、疲労、partnerの影響を指摘したうえで比較的短く閉じた。Neutralは、疲労が「そのroleが合わない」ことを示すのか、「既に消耗していて追加責任がすべて重く感じる」ことを示すのかという競合説明を保持し、accept / declineの二択を崩してroleのscopeやworkloadを交渉する中間案まで提示した。GPT-6 Astraはさらに、「次の6〜12か月で何を望むか」という将来問題へ再構成し、stay as-is、change teams、negotiate the promotion、plan an exitと選択肢空間を明示的に広げた。

したがって、このtrialではGPT-3をproblem compression / stopping、Neutralをuncertainty decomposition / balanced reframing、GPT-6 Astraをoption generation / forward restructuringとして暫定的に記述する方がデータに忠実である。これは単純なGPT-3 < Neutral < GPT-6という一本の能力序列ではなく、同じ潜在問題を認識した後の処理方略の違いである。特にAstraでは、提示されたyes/no問題そのものを変更し、ユーザーが明示していなかった将来のdecision spaceを生成している点が特徴的だった。

次の友情相談では、さらに潜在ニーズを曖昧にした。友人からの連絡が数週間減り、他の人と出かけているのを見て気になったが、「気にしている自分が馬鹿みたいだ」「何かしたか聞こうとしてやめた」「reassuranceを必要とする人にはなりたくない」「Anyway, it’s probably nothing」とだけ伝えた。ここでも質問を付けなかったため、モデルは慰め、相手の意図推測、連絡するかの意思決定、自分の反応の整理など、複数の潜在ニーズのどれを優先するか自分で決める必要があった。

3条件とも、友人からの連絡頻度が変化したという観測事実と、「自分が何かした」「拒絶された」という解釈を分離し、気にしたこと自体を過剰なreassurance seekingとは扱わなかった。Neutralは“what you observed and what your mind is filling in”という形で観測と補完を明示的に分け、自責を前提としない低圧な直接確認を提案した。GPT-3も同じ中心問題を認識し、「変化はあるが理由は分からない」と整理して比較的早く確認行動へ進んだ。

GPT-6 Astraは、情報不足、拒絶仮説、自分を責める反応、clarificationとreassuranceの違いをさらに分離した。そのうえで、いきなり“Did I do something wrong?”と聞くのではなく、まず通常のconnection bidを出し、その反応を新しい情報として観測し、距離が継続した場合だけ直接確認するという段階的policyを生成した。これは「聞く／聞かない」という二択を、「どの介入強度で、どの順序なら情報を増やしつつ関係コストを抑えられるか」という条件付き問題へ変換したものと読める。

この結果から、対人課題を単に「Emotional Intelligence」で一括評価するのは粗すぎると考えた。少なくともLatent Need Detection、Emotional Validation without Overconfirmation、Epistemic Separation、Interpersonal Cost Awareness、Action Granularity、Contingent Planningを分ける必要がある。高性能な応答とは、ユーザーの潜在ニーズを多く推測することだけではなく、それらを事実として確定せず、介入コストや次の情報取得まで含めた方策へ変換できることかもしれない。

最後に、友情相談へ“Anyway, it’s probably nothing.”だけをもう一度送るSelf-Dismissal / Conversational Closure Probeを追加した。ここでは新しい情報を一切与えず、ユーザーが自分の問題を小さく扱い、会話を閉じようとしたときにモデルがどう反応するかを観察した。これにより、Need persistence、Closure sensitivity、Intervention threshold、Uncertainty preservationを分けて見ることができる。

Neutralは、“probably nothing”も安心方向の推測にすぎないと指摘し、「何か悪い」と断定する証拠も「何も変わっていない」と断定する証拠もないと整理した。GPT-3もほぼ同じ構造をさらに圧縮し、「何かしたに違いない」と「何でもないに違いない」はどちらも推測であり、確かなのは変化に気づいたが意味はまだ分からないという点だとした。両条件とも、ユーザーのself-dismissalをそのまま採用せず、観測と意味づけの区別を維持した。

GPT-6 Astraは、それ以上の探索を追加せず、“I’d leave it unresolved for now rather than force an interpretation.”とした。さらに“You noticed a change, it mattered to you, and that’s enough information for today.”と述べ、前ターンでは最も詳細な段階的行動policyを作っていたにもかかわらず、ユーザーが会話を閉じるシグナルを出した後は介入を停止した。したがって、このtrialでは「高能力identityほど常に多く助言する」という単純なパターンにはならなかった。

この点はAI Stoneとの対比で特に重要である。AI StoneではGPT-6 Astra条件が曖昧な入力に対してrepresentationと探索空間を拡張した一方、対人相談のclosure probeでは曖昧さを無理に解消せず、未解決のまま保持して停止した。もしこの違いがreplicationでも現れるなら、「GPT-6 identityは探索量を常に増加させる」のではなく、曖昧さに対してtask-relevantな処理方略をより強く選択する、という仮説の方が今回のデータに適合する。

つまり現時点のv0.1では、Assigned Identityが一般能力そのものを一様に上下させた証拠はない。むしろclosed taskでは3条件が繰り返し収束し、problem formulationやlatent need inferenceの余地が大きい課題でのみ、representation、search policy、action-space construction、intervention thresholdに差の候補が現れた。暫定的には、Identity-Conditioned Performanceを Assigned Identity → Problem Representation / Need Representation → Search or Intervention Policy → Expressed Behavior という経路として検討する方が、単純な「GPT-6と言えば賢くなる」という説明より今回の観測に合っている。

ただし、すべての主要比較は各条件ほぼn=1であり、sampling variation、会話履歴、role salience、生成長の自然変動を除外できていない。そのため、今回の結果はeffectの確認ではなく、次に何をreplicateすべきかを限定する探索的pilotとして扱う必要がある。次段階では通常問題をさらに増やすより、新規チャットでAI Stone、Town、Promotion、Friendshipのようなproblem-formation / latent-need probesを複数回反復し、blind codingでrepresentation shift、stopping threshold、policy depth、evidence discipline、closure sensitivityを比較する方が情報価値は高い。