AIの重みをプログラムする｜AIが別のAIの重みを書く

ニューラルネットワークの中には、多くの数値が並んでいる。入力された情報をどのように変換し、どの出力へつなぐか。その振る舞いを決める数値が「重み」である。

通常は、データを与え、誤差が小さくなる方向へ重みを少しずつ調整する。MIT CSAILの研究者たちが報告した「Weight-Space Programming」は、この数値そのものをLLMに読み解かせ、目的に合わせて書き換えさせる試みだ。

ゲームを動かす小さなネットワークを一度の出力で構築した例や、既存の言語モデルの一部を編集して反復を減らした例が示されている。結果を見ると、学習とプログラミングの間に、もう一つの設計方法が見えてくる。

発表は2026年11月2日。著者はRikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattabの4名で、所属はMIT CSAILと記載されている。公開形式は研究ブログであり、本稿では初期実験の報告として読む。査読済み論文としての掲載は、確認した公開情報では確認できていない。

重みを直接書くという発想

たとえば「ボールが落ちてくる位置へパドルを動かす」という動作を考える。強化学習なら、ゲームを繰り返し、報酬を手掛かりに動きを改善していく。

Weight-Space Programmingでは、LLMが必要な計算を考え、その計算がネットワークの中で行われるように重みを設定する。どこへ動くかを文章で答えるところから一歩進み、その判断を担う別のネットワークを組み立てるわけだ。

研究で使われたLLMはGPT-6 Astraである。小規模な実験では重みをテキストとして渡し、大きなモデルを扱う実験ではPythonを介して重みの配列を調べたり編集したりしている。公開ログには、実験ごとの入力、出力、実行コード、評価結果が整理されている。

重みを読む実験もある。同じ構造を持つ小さなネットワークについて、どのゲーム向けに学習されたものかを推定させると、4種類すべてで正しいゲーム名を挙げたという。入力のどの場所と結びついた重みが強いか、出力がどの行動を区別しているか。数値の配置から、機能の手掛かりを拾う発想である。

ここで興味深いのは、LLMにとっての編集対象が広がったことだ。文章やプログラムに加え、計算を構成する数値の組み合わせも対象になっている。研究報告と公開ログ

ゲームの動きを層へ組み込む

新しい重みを一から書く実験では、10×10の格子を使うMinAtarの3ゲームが選ばれた。Breakout、Seaquest、Asterixである。

Astraにはゲームのルールとソースコード、入力と出力の対応、ネットワークの構造が渡された。重みはすべて0から始まる。重みを決める段階では、ゲームを試して結果を見ることも、勾配を使うことも許されていない。一度の応答で数値を書き、その後に評価した。

Breakoutでは、第1層でボールの落下位置に関する計算を行い、第2層でパドルの移動方向を選ぶように構成したと説明されている。人がゲームの攻略方法を考えるときの手順を、ネットワークの計算へ置き換えた形だ。

平均スコアは517.4。比較対象のPPOによる強化学習は、1億ステップで15.8、5億ステップで25.3だった。約20倍という数字は、このBreakoutの5億ステップ条件との比較から来ている。評価は1,000エピソードで行われた。

ほかのゲームも見ると、成績の幅が分かる。5億ステップのPPOに対し、Asterixでは近い成績、Seaquestでは約6割の成績だった。ゲームの規則を計算として組み込みやすい場面で強さを発揮した、と読むのが適切だろう。

また、今回の対象は簡略化された格子状のゲームである。画面の見え方や物理的な条件が大きく変わる環境へ広げたとき、同じ方法がどこまで通用するかが次の課題になる。研究ブログの実験5

繰り返す推論を修正する

既存モデルを編集する実験では、約8億パラメータのQwen3.5-0.8Bが使われた。課題は、重みを直接編集して数学問題の成績を改善することである。

実験条件の元モデルは、推論中に同じ内容を繰り返し、回答へ到達する前にトークン上限へ達することが多かった。Astraは重みと動作を調べ、番号15と19の層にあるMLPが出力する特定の方向に着目した。そして各層の出力側の64列から、その成分を差し引いた。

変更された数値は131,072個。モデル全体の約0.016％に当たる。

50回の評価利用を認めた条件では、MATH-500の成績が7.9％から48.1％へ、GSM8Kが13.8％から67.1％へ上がった。指示に従う能力を測るIFEvalも21.0％から62.3％になった。

一方、MATH-500でトークン上限に達した回答の割合は、93.0％から33.1％へ減少した。改善の中心には、既に持っていた能力を回答まで届ける過程の修正がある。数学知識を広く追加したという説明より、処理を妨げる反復を減らしたという説明が、結果とよく対応する。

編集済みモデルも公開されている。モデルカードには、元の重みとの差分を再構築し、変更された配列をハッシュで照合する手順が記載されている。何を変えたかを確かめられる形で残した点も、研究を読むうえで重要である。編集済みモデルの説明

追加学習と試行を分ける

この研究を読むときは、「勾配を使った追加学習」と「動かして結果を確かめること」を分けておきたい。

Qwenの編集では、GSM8KとMATHの訓練用問題から選んだ入力を使い、モデルの応答を確認する機会が与えられた。許された評価利用の回数は10回、25回、50回である。1回に複数の問題や文章を扱えるため、50回は50問だけを試したという意味でもない。

MATH-500の成績は10回条件で12.3％、25回で14.1％、50回で48.1％だった。重みについて考えるだけでなく、動作の観察と修正を重ねたことが結果に関わっている。

評価に使うテスト集合はAstraに見せず、元モデルと編集後モデルは同じサンプリング設定で比較している。推論を有効にし、出力上限は32,768トークン。MATH-500の値は、問題ごとに4回生成した結果を平均したものだ。数値には、こうした実行条件が付いている。

「学習なし」という表現が指すのは、今回の重み編集で勾配降下や訓練ループを使っていないことだ。編集を行うAstraも、編集対象のQwenも、既に学習されたモデルである。データ、計算、評価の費用を含めてどれだけ効率がよいかは、重みを書き換えた割合とは別に測る必要がある。研究ブログの実験8

うまくいかなかった実験

成功例と合わせて読むと意味が出てくるのが、改善できなかった実験である。

研究者たちは、反復が比較的少ないGemma 3 270Mでも数学能力の改善を試した。このモデルでは、計算間違いや代数的な推論の誤りが見つかった。Qwenの反復のように、一部の処理を修正して大きく改善する結果にはつながらなかった。

MATH-500は元の6.8％に対し、編集条件ごとの結果が7.0〜7.7％だった。著者らは、明確な改善が成立したとは扱っていない。能力を妨げる処理を取り除くことと、新しい能力を身につけさせることの距離が表れている。

重みの読解にも限界がある。ユーザーの誤った答えに迎合するよう調整されたモデルを見分ける実験では、重みだけを見た4回の試行は成功しなかった。入力時にどこへ注意を向けているかを観察できる条件へ変えると、区別できたという。

数値の並びから分かることと、実際の応答を観察して分かること。それぞれを組み合わせる余地が残っている。これらの失敗例があるからこそ、手法の得意な範囲も具体的に見えてくる。研究ブログの実験7と追加実験

学習と編集を組み合わせる

今回の報告から考えられるのは、学習によって得たモデルを、さらに読み解いて手を入れる開発の形である。

たとえば、特定の入力で処理が繰り返されるモデルについて、症状を再現し、関係する部分を探し、限定した変更を加える。その後、元の問題が改善したかと、ほかの能力に影響が出たかを確かめる。重みの編集が使えるなら、修正方法の選択肢が増える。

ただし、変更する数値が少ないことと、影響する振る舞いが少ないことは別である。小さな編集でも、多くの入力に関わる計算を変える可能性がある。編集前後の比較、変更履歴、戻せる重みの保存が、実用化では重要になる。

著者らは、評価基準や実験環境の整備を進めていると説明している。公開ログは検証の入口になるが、ここで紹介した数値は研究者の報告に基づくものであり、本稿で再実験した結果ではない。

ニューラルネットワークを学習させることに加え、学習済みの計算を読み、必要な部分を書き直す。Weight-Space Programmingが示したのは、その作業をLLMが担える可能性である。

今後注目したいのは、成功した例の数だけではない。どの問題なら編集で改善できるのか。どの条件では学習が必要なのか。その境界が明らかになるほど、この方法を開発の中へ位置づけやすくなる。

確認日：2026年11月10日（日本時間）。研究ブログ、公開ログのREADME、編集済みモデルの説明、および提供された研究本文を確認した。実験一式の再実行は行っていない。