Memdoor（メムドア）、小型AI5体でFable 5超え｜10問で平均9.8問正解、設定はYAMLだけ

小型のオープンモデル「Qwen3.8-27B（クウェン）」を5体で組ませる作業手順が、Hacker News（ハッカーニュース）で452ポイント、コメント229件を集めた。

日本時間11月1日に掲載された、開発者向けツール「Memdoor（メムドア）」の公開例だ。

プログラミング試験LiveCodeBench Hard（ライブコードベンチ・ハード）の10問を5回ずつ解かせ、平均9.8問に正解した。

Claude Fable 5（クロード・フェイブル）に1回ずつ解かせた結果は8.0問。費用は1問あたり中央値0.39ドルだった。

5体の役割分担、サンプル問題で動かす手順、元論文の100問での結果と注意点は下に書いた。

Memdoorのteam-solveの役割分担

Memdoorは、Go言語の単体プログラムで動くコーディングエージェント兼ワークフロー実行ツールだ。ライセンスはApache-2.0で、GitHub（ギットハブ）のリポジトリで公開されている。

話題になったのは、同梱の作業手順「team-solve」。READMEは「1つの問題に5体の小型モデル」と説明し、役割を次のように分けている。

• 計画役：問題文を読み、方針とメモを書く

• 発案役2体：並列で動き、解き方を1つずつ提案する（1体は最も素直に証明できる解き方、もう1体は別系統の解き方）

• 実装役：2つの提案を読んでプログラムを書く

• 管理役と修正役：テスト結果を見て直す指示を出し、プログラムを書き直す

どの役も前の会話を引き継がず、毎回まっさらな状態でディスク上のファイルだけを読んで動く。 問題が解けたかどうかは、モデルではなくサンプルを実行するスクリプトが判定する。

作業手順はYAML（ヤムル）ファイル8本だけで書かれ、コードは無く、使うモデル名も書かれていない。モデルは利用者が指定する。

元になったのは、Persis Capitalの研究チームが公開した手法「GVS5H」だ。論文は2026年8月にarXivへ投稿され、GitHubで論文とコードが公開されている。論文は性能が伸びた理由を、問題の分解と、ファイルに残る文脈にあると分析している。

LiveCodeBench Hardの点数と1問あたりの費用

team-solveの結果ページによると、論文チームが選んだ問題のうち、最初の10問を5回ずつ解き、隠しテストで採点した。

• Memdoorのteam-solve：平均9.8問（5回のうち4回は10問全問正解）

• 論文チーム自身の実装：平均9.6問

• Claude Fable 5に1回ずつ解かせた場合：平均8.0問

費用は1問あたり中央値0.39ドル、所要時間は中央値40分。50回分の合計で35.79ドルだった。 モデルはOpenRouter（オープンルーター）経由で呼び出している。

元論文は100問で測っている。Qwen3.8-27Bは1回呼び出すだけだと正解率66.8%で、5体の分担にすると92.4%まで上がった。Claude Fable 5の1回呼び出しは90.4%。

100問を1周する費用は、Claude Fable 5が61.11ドル、5体分担のQwen3.8-27Bが47.82ドル。同じ分担をQwen3.8 Flash Nextで組むと正解率93.0%で5.76ドルになり、論文はFable 5の9%の費用だとしている。

結果の読み方と注意点

Memdoor側の説明には、結果の限界も書かれている。

• 10問×5回の小さな標本で、9.8問と9.6問の差は誤差の範囲。主張は「論文チームの実装と同等」まで

• 問題は2025年春のコンテストのもので、モデルが学習中に見ている可能性は否定できない

• Claude Fable 5の点数は論文チームのファイルから取ったもので、Memdoor上では動かしていない

• 落とした1問は、管理役が誤った反例を作り、正しいプログラムを書き換えたのが原因だった

論文は、この分担で全モデルの点数が上がるわけではなく、変わらない・下がるモデルもあったと書いている。

team-solveを試す手順

team-solveの結果ページに載っている手順だ。サンプル問題（task.mdとテスト5組）で動かし、全サンプルに通ると終了コード0で終わる。動かすにはPython 3とbashが必要。

curl -fsSL https://memdoor.ai/install.sh | bash
memdoor connect openrouter
git clone --depth 1 https://github.com/guregodevo/memdoor

mkdir -p ~/.memdoor/workflows
cp -r memdoor/examples/workflows/team-solve ~/.memdoor/workflows/
mkdir my-problem && cd my-problem
cp -r ../memdoor/examples/workflows/team-solve/sample/* .
memdoor workflow run team-solve --wait

APIキーを使わずに手元のモデルで動かす場合は、2行目を `memdoor connect local` に替える。Ollama（オラマ）・llama.cpp・vLLM・LM Studioに対応し、Ollamaは既定の4Kではなく32Kの文脈長が必要になる。手元で動かす方法はMemdoorのオープンウェイト解説にある。

1行目はインストール用スクリプトを自分のPCでそのまま実行する。 スクリプトの注記では、既定の入れ先は管理者権限が不要な `~/.local/bin` になっている。

先にブラウザでスクリプトの中身を開いて確かめ、作業は空のフォルダで行うと、ほかのファイルに手が入らない。READMEによると、`MEMDOOR_APPROVE=changes` を付けると、コマンドの実行と書き込みのたびに確認が入る。

まとめ｜team-solveのサンプル問題とローカル実行

今日試せること：上の手順でteam-solveのサンプル問題を1回動かし、my-problemフォルダに残るplan.md・notes.md・solution.pyを開く。計画役のメモから修正役の書き直しまで、5体がファイルで受け渡した中身を順に読める。

Qwen3.8-27Bの5体分担は、元論文の100問で正解率92.4%、Claude Fable 5の1回呼び出しは90.4%だった。

▼ 毎朝、AIの最新ニュースが1分で読める

Substack「えーAI」では、最新AIニュースと活用術を毎朝 無料配信している。

その日いちばん効くニュースだけを選び、1分で読める形にして届ける。

→ 無料で購読する（メールアドレスのみ・いつでも解除可）

▼ あわせて読みたい

今回の5体分担で使ったQwen3.8シリーズの、最上位モデルの性能と規模。

AIニュースは毎日更新。取りこぼしたくない方はフォローを。

▼「うちの仕事でも使えるのか」を整理する

記事で扱ったAIを自分の業務にどう組み込むか、無料相談で一緒に整理する。ITが本業ではない個人事業主・小規模事業者が中心。

→ 吉田Web事務所｜AI導入・業務効率化サポート

※ この記事はAIによって執筆した記事です。誤りが含まれる可能性があります。重要な情報は必ず一次ソースをご確認ください。