Bonsai-2 27B試してみた ～ローカルLLMの常識を覆す、VRAM12Gからエントリー可能なAIエージェント誕生!～
こんにちは、2か月前にこんな記事を出したRcatです。
だからこそ、今回は非常に衝撃を受けています。
なんといっても、前回ボロボロだったBonsaiがリニューアルして再登場してきました。
今度こそやばいです。ミドルレンジゲーミングPCでAIエージェントが動く時代が来てしまいました。
次回:VRAM10GBで動いてしまう…
はじめに
利用規約
情報や作品の活用時は事前に利用規約をご確認ください。
コメントについて
利用規約のガイドラインを確認の上コメントしてください。
則っていないコメントは削除します。
概要
Bonsai2 27Bとは
驚異の1Bit LLMと呼ばれるものです。その名の通りデータを1Bitに圧縮して超小型化したものです。
4月ごろに初版の8Bが、7月に27Bが登場しました。
今回は27Bのバージョン2。
前回はQwen3.6 27Bベースでしたが、今回のはQwen3.8 27Bベース。
精度重視で-1,0,1の1.7Bit版の方を使いますが、それでもサイズはたったの6.7GB。
普通の4Bit量子化なら15GB前後あるので、VRAM24GB以上じゃないと使えないのですが、このモデルならVRAM12GB程度から視野に入る。
そう、RTX 4070～5070といった12GBモデルのミドルレンジゲーミングPCをお持ちの皆様もローカルAIエージェントに本格参入できる時代に突入です。
バージョン2では何が期待できる?
前提として、Bonsaiシリーズは固有のモデルではなく特殊な量子化を施したモデルです。
なので、性能はベースとなったモデルに依存しそれ以上賢くなることはありません。
で、そのベースモデルがQwen3.8 27B。
Qwen3.8 27Bといえば、GPT-5.6 Lunaとほぼ同等レベルの能力があると言われています。
実際、kiroでLunaを1か月使い倒した後、Qwen3.8 27Bを使っても大きな劣化は感じませんでした。
私がよくモデルの能力を参考にするサイトのエージェントアリーナでは、現時点ではこんな序列。Claudeのミドルモデルより上です。私の体感とも合いますね。
なので、私個人的にはQwen3.8 27Bが動くなら、丸投げでもしない限りはクラウドAPIはいらないと思っています(個人では使ったことないけどw)。
そのうえで、モデル提供元はBonsai2 27Bは元のモデルの精度を98%保持していると言っています。
これが本当ならたった6.7GBのモデルでお手元GPT5.6-Lunaの夢がかないます。
ちなみに、WEB DevアリーナではClaude Opus 4.8より上ですね。LunaやTerraすら超えてるw
※実際は量子化するので劣化します
※コンテキスト長は比較に含めていません
で、期待してるの?
今だからこそこういう書き方をしていますが、最初は全く期待していませんでした。
なにせ、前回のBonsai 27Bがひどすぎましたからね。
長文要約はこなすので行けそうかと思いきや、AIエージェントのハーネスにつないだ途端繰り返し現象を連発して全く使い物にならなかったんですね。
ZooCodeではそれっぽく動きましたが、OpenHandsでは全くと言っていいほど動かないw
ですが今回、いい意味で期待を裏切られることになります。
※BonsaiとBonsai2だとちょっと紛らわしいので、以降旧Bonsaiは`Bonsai1`と表記します。
環境構築
推論エンジン
やり方は同じなので前回の記事参照。
専用フォークをビルドして、モデルは公式のパラメータに合わせてロードします。
モデル設定
基本は前回と同じ
今回はビジョンエンコーダーもついてたのでロードする。ただし画像処理はまれなのでVRAMには載せないようにするのがポイント。
パフォーマンス
前提
GPU
RTX 5070Ti 16GBOS
Windowsエンジン
llama.cpp 専用フォーク
トークン入出力
これはBonsai1の時と変わらない。
これでエージェントしてくれるとしたら実用すぎる速度。
上の画像は出力トークンが少ないのでぶれてる可能性もあるので、出力が多かった時のログがこちら。
VRAM
最初はこんな感じ。Chrome辺りが食ってるかな?
コンテキスト128k(Q8)で起動した状態。11.7GB占有なのでギリギリ12Gにも収まる。ただし私みたいに何かにすでに占拠されてなければの話。
足りないときは少しコンテキストを落としましょう。エージェントとして使うなら最低64k。ただし読み込みや要約で詰むので96k～128kはやっぱりほしい。
エージェントとしての能力 （大幅進化）
お題
今回はこちらをお題にします。パスワード管理サーバーです。
仕様書だけコミットした状態のものがあるので、それを見させてあとは丸投げでどこまでやれるか見てみます。
Bonsai1の時のTODOに比べ大幅に難易度が向上していますが、手元にこれしかないのでまぁいいでしょう。
ちなみにLaguna S2.1という118Bモデル用の課題です。
概要としては、PythonのバックエンドサーバーからVue.jsでビルドしたフロントエンドを配信し、パスワードをDBに保管するという感じ。
2言語の2フレームワーク及びDBの使い方がわからないとできません。
実験開始
ハーネスはOpenHandsです。
丸投げ用途ではVS Codeを開かなくていいのでこれを使っています。
さっそくツール呼び出しミスってるが、今までよりマシ。旧Bonsai1はOpenHandsだと繰り返して何もできなかったのでそれだけでも進歩を感じる。
なんかおかしいと思ったら一回の出力上限に思考だけで達してる…
繰り返してるわけではなく、一気にプロジェクト全体の詳細な計画を立てようとしてる模様。
そりゃトークン足りないわな。
さすがQwen3.8 27Bの血を引いてるだけあってグダグダ思考が染みついてる。労力lowにしてるはずなんだけど効いてないのか?
とりあえず指示を入れなおしてみる。
ついでに思考トークンを8kに制限し、一度の出力上限は12kにUPさせ、思考中断後は4kの余裕ありの状態に変更。
こうすることで、限界まで試行しても、ツール呼び出しの余力がなくてエラーになることはなくなる。
なんか進んできましたよ!
最初の計画時の超思考を抜けたら安定して動き出しました。
その後も順調?に作業。
AIの独り言が全部英語なので何してるのかさっぱりわかりません。
テストでなんか苦戦してるっぽい?ので「ブラウザ使えるよ」と一言言った瞬間ブラウザを使い始めました。
→つまりこの時点でフロントのVue.jsはビルドが通ったうえで、バックエンドのPythonのサーバーも起動している
前回のBonsai1は、これよりも簡単な課題だったにもかかわらず、サーバーが起動できなかったので、かなり進歩していると言えます。
結果
ファースト出力
ひとまず完走しました。一度も変に止まることなく完走です。
横で見てた感じ、ツール呼び出しミスはないですね。これだけでもだいぶすごい。
繰り返しも起こしてないようなので安定性も格段に向上しています。
フォルダ構成はこう。
サーバーとフロントで別れてますね。
サーバーはこんな感じ。揃ってそうなのでvenv作って動かしてみます。
起動してフロントエンドのSPAが配信されました。
ダークモードなのに周り白いのが気になるけど、その辺が劣化かな?
なお、登録してもその先に進めなかったw
APIはテストしてるっぽいので、単純にSPAの挙動をちゃんと見られてなかったなこれは。
ちなみにここまでのリソースはこんな感じ。ちょっとトークン使い過ぎな感じ。横で見てた感じテストで躓いていろいろやってたのでその分だと思われ。
もしClaudeだったら仮定の$10/$50の場合で計算すると約$47(≒7600円)くらいですかね。ほぼキャッシュヒットなので入力は$1.1で計算。
まぁClaudeなら動かないのを作るようなへまはしないと思いますがw
修正後
登録はできるが、ログイン画面から先に進まない趣旨の説明をして放置したところ、修正完了とのこと。
さて、どうでしょうか?
ログインできました!
Vue.jsのルーティングをきちんと直したようで、先に進めます
新規登録画面もちゃんと機能します。
あ、パスワード参照がバグってますね。
数値がなんか出てるけどなんだろう?復号失敗か?
あとコントラストが壊滅的で全く見えないんだがw
最終的なリソース使用量。だいぶ使い込みましたね。
まとめ
今回はQwen3.8 27Bを超圧縮したBonsai-2を実際に使ってみました。
結論としては、古めのハイエンドかミドルレンジゲーミングPC持ちもローカルLLM界隈に参加できるレベルの仕上がりといってよいでしょう。
ベースの能力が高いだけあり、極度の量子化にさらされてもタスク遂行能力や安定性を残しています。
劣化はやはりそこそこ感じます。精度98%はやはり言い過ぎで、丸投げタスクはまだ早いですね。
ですが、難しいベンチをとりあえず動く形で完走した結果には目を見張るものがあります。
実際、このベンチはLaguna S2.1(118B-A8 54GB)という巨大モデルでやっと解けたくらいのものです。30B級のBonsaiが完璧にできなくても仕方ない。
このレベルなら、ZooCode使ったペアプログラミングレベルではかなり優秀なアシスタントとしてのサポートを期待できるでしょう。
それではまたお会いしましょう。
リンク集
感想投稿フォーム
コメントは公開で恥ずかしい!! Rcatだけに送りたい人向け
