「ハーネス」がモデルより重要になる時代 ― YC Paper Clubが示したAIエージェントの現在地
同じモデル、同じ重みファイルを使っているのに、性能が3倍以上変わる。この差を生んでいるのが「ハーネス（harness）」と呼ばれる、LLMと外界をつなぐ実行層です。
Y Combinatorが主催する「YC Paper Club」で開催されたHarness Nightでは、ホストによる導入講演に続き、Prime Intellect、スタンフォード大学、YC社内チームの3組が登壇し、それぞれのハーネス設計思想を共有しました。プロンプトエンジニアリングやスキャフォールディングは、長らく「研究に値しない小手先の工夫」と見なされてきましたが、その評価は明確に変わりつつあります。
ビジネス・投資の観点から言えば、これは「モデルの性能競争」とは別軸で価値が積み上がっている領域を指しています。以下、当日の内容を整理します。
1. なぜハーネスが重要なのか
1-1. 「これは研究ではない」という批判と、18%の差
導入講演では、まず批判的な意見が紹介されました。SNS上には、「この種のプロンプトエンジニアリングが、トップティアの機械学習会議に属するとは思えない」「コンテキストエンジニアリングは研究課題ではない」といった投稿が並びます。
しかし、現実には、ハーネスAとハーネスBの違いだけで18%の性能差が生まれています。同じモデルであってもです。
さらに、象徴的なのが、ARC-AGI 3の結果です。ARC-AGIは、「新しい問題分布にどれだけ速く適応できるか」という流動性知能を測るベンチマークで、ゲーム間のスキルが直交するよう慎重に設計されています。ホストによれば、Claude Opusは、非公開ホールドアウトセットで検証された初期のモデルの一つで、素の状態でのスコアは30%でした。ところが「研究に値しない」とされるスキャフォールディングを載せただけで95%に達し、NVIDIAのAVOは100%を記録しています。
1-2. 静的ハーネス期と自己改善ハーネス期
METRが公開している「エージェントが自律稼働できる時間」のプロットについて、ホストは進歩の相当部分がハーネスによるものだと指摘します。そのうえで時代を2つに区切りました。
静的ハーネス期：ハーネス自体は自己改善しない
自己改善ハーネス期：直近6カ月ほどの動き
背景にあるのは、テスト時に得られる経験を活かしきれていないという問題意識です。モデルの知能（IQ軸）は、上げ続けているものの、新しいドメインに遭遇したときの適応が遅い。ICL（文脈内学習）は、40〜50例ほどで飽和し、そこから先はLoRA（低ランク→高ランク）、SFTと、まったく別の学習手続きに切り替えなければなりません。この不連続さを埋める場所として、ハーネスが機能しているという整理です。
1-3. 偶然生まれたオートリサーチャー
ホスト自身の事例も紹介されました。2026年3月にAndrej Karpathy氏が公開したオートリサーチャーをフォークし、進捗を可視化するUIを作ろうとしただけで、結果的にハーネスを作ってしまったといいます。
仕組みはシンプルです。目的（例：「拡散言語モデルは、自己回帰モデルに勝てないが、シャーディングしてアンサンブルすればどうか」）とシードアイデア、評価指標を与えると、スコーピングエージェントが類似論文とGitHubリポジトリを探索し、PIエージェント、リサーチャーエージェント、レビュー役の評議会、執筆エージェントへと引き継がれていきます。
現在は、8つのアイデアを8つのH100ノード（各8基）に投げて放置し、論文を受け取るという運用になっているとのこと。3〜4月時点の出力は、質が低かったものの、現在は読むに値するものが出てくるようになったと述べています。
2. ハーネスの5分史 ― GPT-2から自己改善まで
2-1. V0：ただのループ
2019年2月のGPT-2時点でのハーネスは、「EOSトークンが出るまで回すwhileループ + top-pサンプリング + 環境」だけでした。ツール呼び出しもスキルも存在しません。
GSM8K形式であれば、システムプロンプトでペルソナを与え、問題文を入れ、####の後の数値を正誤判定する。それだけです。
2-2. 機能追加の6年
以降の6年は、静的ハーネスに機能を足し続けた歴史として整理されました。
Few-shot（2020年7月）：例示をコンテキストに戻す
Chain-of-Thought：答えを直接予測せず、計算を多数のトークンに引き伸ばす
WebGPT → Toolformer：ツール（実体はJSONオブジェクト）を与える
MemGPT：コンテキストへの追記だけでなく、CRUD操作を可能にする
Voyager：ツールを連鎖させて習得した手順を「スキル」として蒸留・永続化（Minecraftで実証）
InterCode：コードを出力空間にすることで、その場でツール／スキルを生成
ReAct → Self-Refine → Reflexion：内部評価者による自己改善ループ
サブエージェント／RLM：再帰的にエージェントを生成し、より広い問題クラスを扱う
これらを束ねたものが、「ハーネスV1」です。エージェント仕様（システムプロンプト、許容ターン数、ツール呼び出し上限、ツールリスト、スキルリスト、サブエージェントリスト）を定義し、セッション管理とコンテキスト編纂を伴うループに乗せる。プロンプトで起動することも、cronで毎時起こして自律的に働かせることもできます。
2-3. V2：ハーネス自体が学習する
最も動きが激しいのが、ハーネス自体を学習させる領域です。
DSPyは、少数の訓練例から最適なシステムプロンプトを学習します。逆伝播はできないため、候補の生成・マージ・評価を繰り返す遺伝的プログラミングを用います。事実上、システムプロンプトに対するCRUD権限を得るということです。
Darwin machinesは、さらに踏み込み、ハーネスのコードそのものを書き換えることを許します。エージェント（＝ハーネス + システムプロンプト）のアーカイブからサンプリングし、適応度関数で評価してアーカイブに戻す。しかも「メタハーネス」がエージェント自身にハーネスの改変を許可するため、ハーネスを生成するハーネスという構造になります。
さらに、continual harnessの研究では、記憶のクラス分類に加え、DAggerスタイルのオンライン学習で重みファイル自体を更新する方向が示されました。少数の学習例に基づくテスト時学習（test-time training）であり、ホストは「非常に重要な研究方向」と評価しています。
3. Prime Agent ― 自己改善するRLMハーネス
プリンストン大学の博士課程に在籍し、Prime Intellectの研究者でもあるSeth Karten氏が、Prime Agentを紹介しました。
3-1. ハーネスの定義：LLMと世界のあいだの層
Karten氏の出発点は徹底して原理的です。素のLLMは、「固定された重みと可視コンテキストを持ち、トークンを入れてトークンを出す逐次プロセッサ」に過ぎない。ハーネスとは、そこに永続的な状態・ツール・計算資源を加える、LLMと世界のあいだのレイヤーである、と定義します。
Prime Agentは、Claude CodeやCodexと同様にローカルで起動します。特徴は、全並列セッションを俯瞰する「エージェントビュー」と、そこから入るルートセッションです。ルートセッションはプロジェクトのオーケストレーターとして機能し、明示的に指示しなくても有用な場面でサブエージェントを起動します。すべては、RLM（recursive language model）の原理に基づき、IPythonシェル上でプログラム的に呼び出されます。各エージェントは、ローカルの永続デーモンに支えられるため、ラップトップを閉じても、Ctrl+Cでセッションを抜けても、バックグラウンドで走り続けます。
3-2. コンテキストをL1/L2/L3キャッシュとして捉える
Karten氏の説明で分かりやすいのが、コンテキストをキャッシュ階層に見立てる整理です。
最速＝モデルの重み。ただし更新にはファインチューニングが必要で高コスト
アクティブな入力コンテキスト。しかし必ず上限に達する
ここで登場するのがコンパクション。「最小限のハーネスがよい」と主張する人々ですら使い続けている、最も汎用的なツール
L2＝ライブREPL／サブエージェント。Jupyter的なIPythonシェルで変数をRAMに保持し、プログラム的に操作することで大量のトークンを節約
L3＝ファイルシステム。読み書き可能な主記憶
重要なのは、更新方法です。作成と読み取りだけでなく、どう更新し、どう削除するか。Karten氏は、REPL層での変数整理を「エージェンティックなガベージコレクション」と呼び、スキル・記憶・プロンプトの更新削除を「リファインメント」と位置づけます。前者はRAMを、後者はディスクを溢れさせないための仕組みです。
比喩としては、素のLLMが、チューリングマシン（テープと命令）であるのに対し、ハーネスを備えたLLMはフォン・ノイマン型計算機に近い、と述べています。外部メモリへの読み書きができることで、表現できる問題のクラスが変わるという主張です。
3-3. 何を「表現可能」にしておくべきか
初期のハーネスは、「計画→実行→批評」といった手順を明示的に強制していました。しかし、現在のモデルは、ReActループを自然に獲得しており、そこを固定する必要はない。一方で、モデル側が自力で獲得できていないのは以下の能力だとKarten氏は言います。
コンパクションを自ら呼べること
Python REPLでプログラムを走らせられること
サブエージェントをプログラム的に生成し、状態にアクセスできること
複数のフィードバック機構を持つこと
これらは「モデル制御の表現可能性」であり、ひとつ取り除けば、その能力は永久に発揮されないという設計思想です。
サブエージェントは、RLM論文からさらに踏み込み永続的なサブセッションとして扱われます。タスクを終えたサブエージェントは、アイドル状態でRAMに残り、親セッションからメッセージを送れば、蓄積した文脈を保ったまま作業を再開できる。RAMを圧迫する場合はオフロードし、必要時に呼び戻します。加えて、親子・兄弟間でのエージェント間メッセージングも初期から実装されており、長期horizonのソフトウェアエンジニアリングで有効だったと報告されています。
3-4. ARC-AGI 3の結果と、その裏側
Karten氏は、ARC-AGI 3の結果を、失敗も含めて率直に共有しました。
コミュニティのリーダーボード「prolong」からシステムプロンプトだけを借りてPrime Agentに投入したところ、初回で99.9%を記録。ログを確認するとカンニングしていたため、丸一日かけてサンドボックスを整備し直したといいます。
整備後の結果は以下の通りです。
トレースを追うと、コードを書いて複数シナリオを検証し、画像処理を行いながら推論を進めていたとのこと。REPLの存在が性能を可能にした主要因という評価です。
一方で、Claude Codeでの実行結果は芳しくなかったため、公式の数値を参照したと明かしています。また、AIRエージェントでは、約5,000ドルを費やしても性能が伸びず、途中で打ち切ったとのこと。ここから導かれるのが「コスト対性能比の重要性」であり、コンテキストをプログラム的に扱えることが節約に直結すると述べています。
3-5. 長時間タスクという評価軸
Karten氏が強調したのは、評価における「実用的なプラトー」という視点です。あるモデルは、早期に停止し、別のモデルは、より多くの予算を使い続ける──これは同一支出での比較になっていないだけでなく、見えていない性能を隠している可能性がある。テスト時トークンを増やしたとき、どこで伸びが逓減するのかを見るべきだ、という主張です。
長時間タスクの実験例：
oolong、Emulator Bench（Game Boy Color等のエミュレータ再現、近日公開のプログラムベンチ代替）：他ハーネスと同等かやや優位
GPUカーネル生成：ほぼ同等（特定ベンチへの過剰適合がない証左と説明）
nanoGPT speedrunの拡大版：8基のH200を1週間投入。高分散のためハーネス寄与の切り分けは困難としつつ、DeepSeek v4、GLM 5.3、Kimi K3などが、「ループ外実験」——CPU上でハイパーパラメータ探索やパラメータ化の検証を行い、高価なH200実験の時間を節約する挙動——を見せたことを興味深い発見として挙げました
Factorioの7日間連続実行：延べ633エージェント、出力2,300万トークン。サブエージェントがタスクを分担し、リファインメントで過去を活用しながら、最後まで停滞せずに技術ツリーを進め続けた
4. OpenJarvis ― パーソナルAIを手元のデバイスに
続いて登壇したのは、スタンフォード大学のJon Saad-Falcon氏。共同筆頭著者のIvanka Orion氏、指導教員のAzalia氏とChristopher Ré氏との共同プロジェクトOpenJarvisを紹介しました。
4-1. クラウド依存の4つのコスト
パーソナルAIは普及しているものの、その大半はクラウド依存です。OpenClawやHermes agentのようなプロジェクトも、知能の大部分をクラウドLLMに頼っています。Saad-Falcon氏はその代償を4点挙げました。
コスト：年間で積算すると数千ドル規模のAPI費用
プライバシー：最も個人的なデータをクラウドに送り、その行方は完全には分からない
所有権：知能を「所有」するのではなく「レンタル」している状態
エネルギー：ラップトップでの実行に比べ桁違いの消費
4-2. ローカルモデルは6〜12カ月遅れ
重要な現状認識として、ローカルLLMは、フロンティアモデルの6〜12カ月遅れまで来ているという評価が示されました。例として、Qwen 3.8 27Bが、2025年8月時点のSOTAだったClaude 4.6 Opusとおおむね同等の性能を出すと述べています。
さらに、ハードウェア側の追い風があります。講演のあった週には、Appleが、新しいMac Miniを発表しており、AppleとNVIDIAの双方がパーソナル用途向けアクセラレータに再び注力している状況です。
4-3. 5つのプリミティブ
OpenJarvisは、パーソナルAIスタックを5つのプリミティブに単純化します。
ユーザーインターフェース
エージェンティックロジック（推論の合成、知能とツールの使い分け）
知能（Qwen、GPT-OSS、Gemma 3Nなど）
推論エンジンとハードウェア（Ollama、llama.cpp、vLLM、SGLang／Apple Silicon、NVIDIA）
ツールと記憶（MCPプロトコル経由）＋学習（GEPAやDSPyのプロンプト系、GRPO・SFT・LoRAの重み系）
設計思想は、「LLMの邪魔をしない」こと。5つの仕様に切り詰めることで、最適化ループ全体を通しやすくしています。
4-4. クラウドで最適化し、ローカルで動かす
最も実務的に興味深いのが、クラウドLLMにローカルスタック全体を自動最適化させるというアプローチです。診断・変更提案・ゲーティングにクラウドの能力を使い、デプロイ時にはそのコストを払わない。
結果として、クラウドLLMで最適化されたOpenJarvis構成は、素のまま配置したローカルスタックより明確に有効でした。特定のモデル・特定のハーネスに合わせ込めるためです。
数字としては、約800分の1のコストとレイテンシの大幅削減が報告されました。最適化役としてはOpus 5とGPT 5.6 soulが最良だったものの、Gemini、Kimi、GLMなど他の大規模モデルでも効率・性能の改善は取り込めたといいます。また、OpenJarvisのハーネス自体が、より多くのデータやLLM呼び出しを要する代替手法より最適化コストが安かった点も挙げられました。
Saad-Falcon氏は、近い将来日々の推論呼び出しのかなりの割合、場合によっては過半がローカルデバイスやオンプレのワークステーションに移ると予想しています。
5. QM ― YCが自社で使う「業務用ハーネス」
最後に登壇したのは、YCのJosh France氏とRegan Bell氏。France氏はYC Labsのヘッドに就任したばかりです。両氏は、QM——YCがオープンソースで公開している業務向けエージェントハーネス——を紹介しました。
5-1. 何ができるのか
QMは、YCの全従業員にOpenClaw的なアシスタントを提供する単一システムです。Slackまたはウェブ UIから利用でき、各人が自分のサンドボックス、ファイル、cronを持つ個人コンテキストで作業します。同時に、Slackチャンネルのようなマルチプレイヤー環境でも動作します。
実際の用途は、メールのトリアージ、法務・財務ワークフロー、ドキュメント編集、社内データベースからのデータ抽出、社内ウェブアプリの立ち上げ、イベント計画など、日常業務全般に及びます。
5-2. 4世代にわたる社内エージェントの歴史
QMは突然生まれたものではなく、モデル性能の向上という追い風に乗った一連の社内プロジェクトの帰結です。
2025年1月「general agent」：
システムプロンプト + ツール + ループ。全員が同じものと話す一律設計だったが、データ関連の質問には驚くほど有効だった。モデルの向上とともに守備範囲が拡大し、Slack接続、cron、ツール追加へ2025年6月：
エンジニアが、Claude CodeやCodexを使い始め、これらをVMで動かせると気づく。Slackタグ経由で起動し、CIパイプライン実行とテスト用dev環境の立ち上げを設定。コード変更を一度もしたことがない人でも、バグを説明すればボットが解決する状態に。失敗を観察してagents.mdを更新する改善ループも回していた2026年1月：
パートナー層がOpenClawを使い始める。オフィスアワー、大量の受信メール、申請書の査読に追われる彼らにとって、エージェントが自分専用のコンピュータを持つという点が決定的で、従来にないカスタマイズ性を提供した2026年4月：
全社員に提供すべく、VM上に50台以上のHermesエージェントをプロビジョニング。有用だったが設定負荷が高く、個別インスタンスにSSHして直す「もぐら叩き」状態に
5-3. 「脳」をサンドボックスの外へ
QMの中核的な設計判断が、エージェントの脳をサンドボックスの外に出すことです。
HermesやOpenClawでは、エージェントが自分のコンピュータを持ちますが、同時にそこに閉じ込められています。管理が数十台で早くも破綻し、セッションもその中に閉じ込められる。
QMでは、すべてをPostgresにオフロードし、集中管理します。全会話が中央に集まり、それをエージェント自身に公開することで、システム全体に蓄積した文脈を参照できます。サンドボックスは「住居」ではなく、必要に応じて手を伸ばすリソースという位置づけに変わりました。
副産物として、会話トレースが巨大な評価セットとして蓄積されます。ただし、自動改善ループの結果は「まちまち」だとBell氏は率直に述べています。LLM-as-a-judgeでバグ修正エージェントを大量投入すると、「主人公症候群」——象の一部しか見ていない状態で修正を加えてしまう現象——が起きるためです。現時点では人間をループに入れることが依然として重要だと結論づけています。
5-4. 権限、書き込み、そして「ラバースタンプ」問題
QMは、社内リソースへ広く接続されています。既存のYC CLIが多くのシステムを束ねており、そこにないものは任意のAPIキー追加で対応。device code OAuthをキーチェーンに取り込み、リフレッシュまで代行することで、ノートPCの前に座る従業員の体験を再現しようとしています。
データベースは原則リードオンリーで、書き込みは人間がレビューするバルクupsert経由。エージェントが編集計画を提示し、人が一読してから実行されます。ただしBell氏は、すでにラバースタンプ化（形式的な承認）が始まっていると警告します。Claude Code初期にツール使用を厳密に確認していた人が、次第に信頼して確認しなくなる現象と同じで、今後数カ月の重点課題としています。
5-5. 薄いハーネスと「グラインドツール」
QMの方針は、ハーネスを極限まで薄く保つことです。中核はわずか3つのツール。
リモートサンドボックスでの実行
オブジェクトストレージの読み書き
社内アプリの公開（Gitベースの簡素な仕組み）
記憶やcron用のツールもありますが、これらは「システムの粗い部分を一時的に覆っているだけ」と位置づけられています。
同時に、判断をハーネスからエージェント側へ移しています。重いdev作業ならリソースの大きいマシン、軽い作業なら小さいサンドボックスをエージェント自身が選ぶ。さらにランタイム（モデルプロバイダ）も選択可能で、Bell氏は、「Fableでは、AI研究やサイバーセキュリティを扱おうとすると多数の拒否に遭う」と述べ、そうした場面で別モデルに切り替えられる利点を挙げました。
もうひとつの工夫が、「グラインドツール」です。高機能な環境を与えたエージェントは、しばしば早々に諦めてしまう。そこで、一定の実時間（数時間程度）またはトークン消費量に達するまでタスクを放棄できないよう、目標に予算を設定します。結果として調査アウトプットやレポートの質が明確に向上したといい、OpenAIやAnthropicが数学の未解決問題に類似手法で取り組んでいる点にも触れています。
5-6. エージェントは社会的文脈を理解しない
最後に挙げられた課題が示唆的です。エージェントは社会的文脈を理解しません。
人間であれば、ある情報を聞いたとき「どこまで共有してよいか」を直感的に判断できます。エージェントでこれを再現するには実際の作業が必要で、特権情報が共有すべきでない文脈へ容易に漏れ出します。
したがって、「脳」に入れられる情報量は、権限システムの精度によって上限が決まる。YCには長年構築してきた細粒度の権限管理システムがありましたが、多くの組織にはそれがなく、ニュアンスのある知識共有を実現するには相応の作業が要る、という指摘でした。
6. まとめ ― どこに価値が積み上がっているのか
一連の発表を通して見えてくるのは、モデル性能とは別軸で、以下の領域に実装知が蓄積しているという事実です。
第一に、同じ重みでも成果は大きく変わる。
ARC-AGI 3で30%が95.5%になり、ハーネスの違いだけで18%の差が出る。「モデルを変えないと性能は上がらない」という前提は、少なくとも現時点では正しくありません。
第二に、コンテキスト管理がコスト構造を決める。
REPL上でプログラム的にコンテキストを扱えるかどうかが、5,000ドルを溶かすか否かの分かれ目になります。Karten氏の「表現可能性を一つ削れば、その能力は失われる」という基準は、設計判断の指針として明快です。
第三に、推論はローカルへ流れ始めている。
ローカルモデルの遅れが、6〜12カ月まで縮まり、クラウドでの最適化とローカルでの実行を組み合わせれば約800分の1のコストになる。AppleとNVIDIAの動きを合わせると、推論需要の分布そのものが変わる可能性があります。
第四に、組織導入のボトルネックは権限と信頼にある。
QMの事例が示したのは、技術的な接続よりも「何をどこまで共有してよいか」の管理と、承認が形骸化する人間側の問題のほうが厄介だということです。
Karten氏が繰り返し述べていたのは、「現在のモデルができることより少し先を行くようにハーネスを作れ」という原則でした。そうすれば推論トレースが得られ、次世代モデルがそのハーネスを扱えるようになり、性能が自己増強していく。ハーネスとモデルは競合するのではなく、互いを引き上げる関係にあるという見立てです。
なお、Prime Agentの結果は、Prime Intellectのverifiersパッケージで再現可能、QMとOpenJarvisはいずれもオープンソースとして公開されています。
