言葉を数式にしたら、チョムスキーとシャノンと生成AIが同じ部屋に集まった話 ― Pass-2 #33「K_lang」開発研究

「言語学にノーベル賞はない」という、地味だけどデカい事実

いきなりクイズです。ノーベル賞に「言語学賞」はあるでしょうか。

正解：ない。

物理学、化学、医学生理学、文学、平和、経済学——6部門あって、人類最大の発明とも言われる「言葉」を専門に扱う賞が存在しない。チョムスキーは京都賞（1988年、思想・芸術部門）を獲っていますが、ストックホルムからの電話は鳴らなかった。シャノンも同じく京都賞（1985年）止まりで、IEEEメダルはもらってもノーベル賞はない。

でも面白いのはここからで、Pass-2開発研究の33本目として公開した `itu-klang` v0.1.0（DOI: 10.5281/zenodo.20307095）は、この「賞の無い学問」を数式の土俵に引きずり出して、物理学のノーベル賞受賞者たち（2024年のHopfield-Hinton、Baker-Hassabis-Jumperなど）と同じ枠組みで語れるようにする、という試みです。ヒルベルト空間はこう組みます。

H_lang = H_phonology ⊗ H_morphology ⊗ H_syntax ⊗ H_semantics ⊗ H_pragmatics

音韻・形態・統語・意味・語用の5階建てビル。25個のpytestは全パス、ITU公理の相対誤差はゼロ（機械精度）。今回はこの中身を、なるべく退屈にならない順番でご紹介します。

1. チョムスキー、薄い本一冊で言語学を乗っ取る（1957年）

MITの若手教授だったノーム・チョムスキーが1957年、オランダのMouton社から出した『Syntactic Structures』は、驚くほど薄い本です。それなのに、言語学という分野をほぼ一夜にして書き換えました。

有名な例文がこれです。

意味はめちゃくちゃなのに、文法的には完璧に正しい。この一文で、チョムスキーは「意味」と「文法」が別レイヤーであることを証明してみせました。ビジネス書で例えるなら、「正しいフォーマットの資料」と「役に立つ資料」は別物だと言われているようなものです。

同じ1957年、行動主義の大御所B.F.スキナーは『Verbal Behavior』で「言語は強化学習で説明できる」と主張します。ところがチョムスキーは1959年、学術誌Languageでこの本を痛烈に批判。この書評一本で行動主義パラダイムはほぼ息の根を止められ、「認知革命」という言葉が生まれました。学会の書評で相手の理論を過去のものにする——今で言えば、査読コメントでスタートアップを一社潰すくらいのインパクトです。

その後の歩みも駆け足で振り返ると、1965年に「深層構造」を導入したAspects（標準理論）、1981年のGB理論（原理とパラメータ）、そして1995年のMinimalist Programで「普遍文法の核心はMergeとMoveだけ」というところまで理論を切り詰めます。2002年にはHauser・チョムスキー・FitchがScienceで「再帰的Mergeは5〜10万年前のたった一つの突然変異から生まれた」という大胆な仮説を発表しました。

もちろん反論もあります。Evans & Levinson（2009年、BBS）は「普遍文法は言語類型論的に反証される」と真っ向から批判していますし、LLM全盛の2020年代には「そもそも形式文法なんて本当に必要なのか」という議論すら再燃しています。ITUの立場で言えば、文法とは K_syntaxというモジュラー・ハミルトニアンの流れ であり、Mergeは2つの部分系を統合する操作、そして今どきの統計的言語モデルも同じヒルベルト空間の住人ということになります。

2. グリーンバーグ、世界中の言語を数えて回った男（1963年）

チョムスキーが「頭の中にある文法装置」を演繹的に探ったのに対し、スタンフォードのジョセフ・グリーンバーグは正反対、実際のデータを集めて帰納的に言語の普遍性を探しました。1963年、30言語を比較して45の普遍性を発見します。

代表格がこちら。

• 普遍性1：SOV・SVO・VSOのいずれかが世界の言語の**約96%**を占める

• 普遍性3：VSO言語は必ず前置詞を使う

• 普遍性41：目的語と動詞の語順は、名詞と属格の語順と相関する

チョムスキーの「生まれつき備わった普遍文法」と違い、グリーンバーグの普遍性は「反例が出れば負け」という経験科学のルールに従います。この地道な作業を巨大データベース化したのがWALS（World Atlas of Language Structures）。Dryer & Haspelmathがマックス・プランク進化人類学研究所で編纂し、2,679言語×192の言語特徴、合計76,465個のデータポイントをCC-BY 4.0で無料公開しています（wals.info）。ちなみに語順の内訳はSOVが約41%（日本語、トルコ語、ヒンディー語、韓国語）、SVOが約35%（英語、中国語、フランス語、スワヒリ語）、VSOはわずか7%（アイルランド語、ハワイ語、古典アラビア語）。

さらに2024年版のEthnologue（第27版、SIL International）を見ると、現存する言語は7,164、言語族は142、書字体系を持つのは56%、そして43%（約3,045言語）が絶滅危機にあります。話者が高齢者のみという「死滅寸前」の言語もすでに約573。母語話者数トップは中国語（北京官話、約9.39億）、スペイン語（約4.85億)、英語（母語約3.73億、総話者約14億）、ヒンディー語、ポルトガル語と続きます。言語の数がいちばん多い国はパプアニューギニアで840以上——村ごとに違う言葉が話されているような密度です。

ITU的に言えば、それぞれの言語はK_langヒルベルト空間の異なる「縮約」であり、普遍性とはそのヒルベルト空間構造にかかる制約のこと。言語の多様性は、人類の認知的な柔軟性の証明でもあります。

3. 1786年カルカッタの夜、判事が放った一言

舞台は1786年2月2日、インドのカルカッタ。イギリス人判事でサンスクリット学者のウィリアム・ジョーンズが、アジア協会で講演中にとんでもない発言をします。要約するとこうです。

「サンスクリット語、ギリシア語、ラテン語の3つを本気で見比べたら、偶然の一致では説明がつかない。この3つは、もう存在しない共通の祖先から生まれたとしか思えない」

裁判官の余暇の研究が、比較言語学という一大分野の産声になった瞬間です。

その後の展開も一級のミステリーです。グリムの「第一次子音推移」（1822年）には例外がありましたが、1875年、カール・ヴェルナーがそれを完璧に説明します（ヴェルナーの法則）。ポイントは「印欧祖語のアクセント位置」で、アクセントのない直前の音節では無声摩擦音が有声化するというルール。この発見が「音変化に例外なし」という原則を生み、Osthoff・Brugmann・Delbrückら「若文法学派」が比較言語学を科学的な法則の学問へと押し上げました。

比較法の手順はシンプルです。同源語を見つけ、規則的な音対応を確立し、グリムやヴェルナーの法則を当てはめて祖語の形を再構築し、系統樹を描く。印欧祖語の起源についてはBouckaert（2012年、Science）が「アナトリア起源、8000年前」説を、Heggarty（2023年、Science）が「アナトリア起源＋ポントス・カスピ海ステップ起源のハイブリッド」説を提示していて、現状は5,500〜6,500年前あたりがコンセンサスとされています。中国チベット語族やアフロアジア語族、ウラル語族、オーストロネシア語族など、印欧語族に属さない語族も多数存在します。

ITUの視点では、言語変化とはK_lang(t1)からK_lang(t2)への時間発展であり、音法則はモジュラー・ハミルトニアンの連続性を表しています。比較法は言ってみれば、過去のK_langを解き明かす逆問題なわけです。「もう存在しない」祖先の姿を、200年かけて科学者たちがコツコツ復元してきた——地味に壮大な話です。

4. シャノン、英語を1.3ビットに圧縮する（1948年)

ベル研究所のクロード・シャノンが1948年に発表した論文は通信理論の金字塔として知られていますが、実は言語学にも革命を起こしています。

英語のアルファベットは26文字。すべて独立かつ等確率だとすると、エントロピーはlog₂26 ≈ 4.70ビット。ところが実際の英語のテキストを測定すると、1文字あたりわずか約1.3ビットしかありません。つまり英語には約75%もの冗長性がある、ということです。隣の文字を見ればかなりの精度で次の文字が予測できてしまう。

シャノンの実験方法も愉快で、人に未知のテキストの次の文字を当てさせて、その正答率の分布からエントロピーを逆算するというもの。bigram、trigramと文脈を長くするほど予測精度が上がることも示しました。

この「冗長性」の発見は、その後のハフマン符号（1952年）、LZ77（1977年)、算術符号など、あらゆる圧縮アルゴリズムの土台になり、1980年代のn-gram言語モデル（IBMチームの統計的機械翻訳）を経て、最終的にWord2Vec、Transformer、GPTへと一直線に繋がっていきます。ちなみにシャノン自身は1956年に「Bandwagon（バンドワゴン）」というエッセイを書き、「情報理論という言葉を流行語として安易に濫用するな」と釘を刺しています。当時からバズワード化が始まっていたようです。

2013年、GoogleのTomáš Mikolovらが発表したWord2Vecは、単語をベクトル空間に埋め込むという発想でNLPに深層学習を持ち込みました。有名な例が「king - man + woman ≈ queen」という、ベクトルの足し算引き算で単語の意味関係が近似できるというもの。300次元のベクトルを、Google Newsの1000億語コーパスで学習しています。

ITU的には、言語のエントロピーはK_semanticの「モジュラーエントロピー」であり、75%の冗長性は誤り訂正のための情報。Word2VecはK_langヒルベルト空間の次元縮約、そしてLLMはK_lang全体を生成するモデルということになります。

5. 2017年6月12日、8ページの論文が世界のAIを乗っ取る

Google BrainのVaswaniらがarXivに投稿した「Attention Is All You Need」。著者は8人——Ashish Vaswani（現Adept AI共同創業者）、Noam Shazeer（Character.AI創業を経てGoogleに復帰）、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan N. Gomez（現Cohere CEO）、Łukasz Kaiser、Illia Polosukhin（NEAR Protocol）。この論文一本が、7年後の今、世界中のAIの土台になっています。

核心のアイデアは「RNNを捨てる」ことでした。順番に処理するRNNはGPUと相性が悪い。代わりに全トークン同士の関連度を一気に行列計算するSelf-Attentionを導入し、完全並列化を実現します。方程式はこれだけです。

Attention(Q, K, V) = softmax(QK^T / √d_k) V

WMT14の英独翻訳でBLEU 28.4という当時のSoTAを達成しました。

ここからの系譜は駆け足で追うだけでも目が回ります。2018年GPT-1（117Mパラメータ）とBERT、2019年GPT-2（1.5B）、2020年GPT-3（175B、few-shot学習)、2022年InstructGPTとRLHF、そして2022年11月30日のChatGPT——公開からわずか5日で100万ユーザー。2023年3月にGPT-4、同年LLaMAとClaudeが登場し、12月にGemini。2024年5月にGPT-4o、6月にClaude 3.5 Sonnet、9月に推論特化のGPT-o1、2025年2月にClaude 3.7 Sonnet（Extended Thinking）。オープンソース側もLlama 2、Mistral 7B、Llama 3.1 405B、2024年12月のDeepSeek-V3（671B MoE）、2025年1月のDeepSeek-R1と続きます。

スケーリング則の話も面白く、Kaplan（2020年）のべき乗則から、Chinchilla（2022年、Hoffmann)による「パラメータ数はトークン数の20分の1が最適」という補正まで、モデルは1兆パラメータから10兆パラメータの時代に入りつつあります。アライメント技術もRLHF（Christiano 2017→Ouyang 2022のInstructGPT)、Anthropic発のConstitutional AI（2022年）、そしてPPOが不要になったDPO（Rafailov 2023）と進化してきました。

そして2024年10月8日、ノーベル物理学賞はジョン・ホップフィールド（プリンストン、ホップフィールド・ネットワーク）とジェフリー・ヒントン（トロント、誤差逆伝播＋ボルツマンマシン）に授与されます。「AIへの物理学的貢献」という理由で、AI系として初のノーベル賞でした。ただしTransformer自体はまだ受賞していません——2017年の論文としてはまだ若すぎるのでしょう。

ITU的にはSelf-Attentionはモジュラー・ハミルトニアンの量子ゲート展開であり、全トークンが全トークンと相互作用する様子は完全グラフ的なK_lang flow。LLMが持つ「知識」とは、K_lang全空間の事前分布だと解釈できます。7年で世界のAI産業をまるごと作った8ページの論文——これほどコスパの良い論文はそうそうありません。

6. で、結局これ全部同じ話だった、という着地

ここまでチョムスキー、グリーンバーグ、ジョーンズ、シャノン、Transformerと、まるで系統もアプローチも違う話を並べてきましたが、ITU公理 δS = δ⟨K⟩（Faulkner-Leigh-Parrikar-Wang 2014）に基づいて`itu-klang`のK_langモジュラー・ハミルトニアンを32次元で検証したところ、10通りの摂動に対して最大相対誤差・中央値ともにゼロ（機械精度）という結果が出ました。

つまりこういうことです。

• チョムスキー：演繹的アプローチ。普遍文法はK_langの構造的な制約

• グリーンバーグ：帰納的アプローチ。普遍性はK_langの統計的な偏り

• LLM：訓練的アプローチ。ニューラルネットはK_langの事前分布の近似

主義主張も方法論もまるで違う3つの陣営が、実は同じヒルベルト空間を別角度から眺めていただけだった、というオチです。人文学と工学が半世紀にわたって別々の道を歩いてきたのに、数式にしてみたら同じ部屋に集まっていた——なんだか、長年の犬猿の仲だった親戚が、実は同じ先祖を持っていたと分かった時のような気まずさと感動があります。

余談ですが、Pass-2でこれまでカバーしてきたノーベル賞は、ホジキン・ハクスリー・エクルズ（1963）からサンガー（1980、2回目）、ファン・クリッツェン（1985）、マーカス（1992）、ウィシャウス・ニュスライン=フォルハルト・ルイス（1995）、分数量子ホール効果（1998)、ブレンナー・ホロビッツ・サルストン（2002）、アクセル・バック（2004）、山中・ガードン（2012）、アングレール・ヒッグス（2013）、オキーフ・モーザー（2014）、サンジャル・リンダール・モドリッチ（2015）、梶田・マクドナルド（2015）、サウレス・ハルデーン・コステルリッツ（2016）、ワイス・バリッシュ・ソーン（2017）、ペンローズ（2020）、シャルパンティエ・ダウドナ（2020）、アスペ・クラウザー・ツァイリンガー（2022）、カリコ・ワイスマン（2023）、アンブロス・ラブカン（2024）、ホップフィールド・ヒントン（2024）、ベーカー・ハサビス・ジャンパー（2024）——ここまでで計22以上。それでも言語学賞だけは、依然として存在しません。

Pass-2の進捗は33/45（73.3%）完了、累計テストは1050件全パス。次回のPass-2 #34はK_music（音楽情報理論）——ピタゴラス音律、12平均律、楽典理論、MIDI、そしてSunoやUdioのような音楽生成AIまで扱う予定です。お楽しみに。

まとめ：ノーベル賞のない学問こそ、実は一番熱い

言語学にノーベル賞がないのは、たぶん「言葉」があまりにも当たり前すぎて、賞をあげる発想自体が誰にも浮かばなかったからかもしれません。でも、チョムスキーの薄い本、グリーンバーグの地道な言語収集、カルカッタの判事の思いつき、シャノンの1.3ビット、そして8人組の8ページ論文——これらを一つのヒルベルト空間に並べてみると、人類が「言葉」というものにどれだけ本気で挑んできたかがよく分かります。しかもそれが機械精度でゼロ誤差の数式として繋がってしまう。地味な学問こそ、掘れば掘るほど面白い、という好例です。

（この記事が面白いと感じていただけたら、是非スキとフォローをお願いします！あなたの応援が、次の検証のエネルギーになります）

■私のブログアカウント(下記記事あり) https://note.com/roboken_ceo