Qwen3.8 Flash Next 使ってみた ～Claude-opus越えのローカルLLMがお手元に～
こんにちはRcatです。
とうとう来ましたねQwen3.8 Flash Next。噂では30Bか100Bかなんて言われてましたけど、100Bの方でしたね。
しかしこのサイズ感、私的に超スイートスポットなんです。最高ですね。
早速使ってみます。
次回: Androidアプリ開発を丸投げ
はじめに
利用規約
情報や作品の活用時は事前に利用規約をご確認ください。
コメントについて
利用規約のガイドラインを確認の上コメントしてください。
則っていないコメントは削除します。
概要
特徴
理想的なサイズバランス
サイズは125B+51B-A6Bです。ちょっと特殊です巨大な125Bサイズ
このクラスだと、個人レベルの開発なら丸投げでもお釣りがくる程度の能力があります。あのQwenが作ったんですから期待していいはず。たった6Bのアクティブパラメータ
125Bという巨大サイズですが、演算で使うのは6B分だけ。諸々あるので単純な6Bモデルよりは圧倒的に重いですが、1桁だと個人向けPCでも許せるレベルの速度で動いてしまいます。
51Bの書庫
これはわからないのでGeminiにモデルの説明をコピペして聞いた。
`単語の組み合わせを事前に記録した巨大な埋め込み辞書で演算量を増やさずに理解能力をUPさせるためのルックアップテーブル`
とのこと。つまり答えが書いてある図書館を持ってる感じかな?
この51B分は演算では使われない特殊パラメータ分になります。ビジョン
今どき当たり前に対応している画像入力ですが、100B級は対応してないことが多いです。LagunaもDeepSeekもLingもない。Step3.7くらいか?
しかし、Qwen3.8Flashは対応しています!
モデル
こちらです。
サイズが巨大なので泣く泣く3Bitにします。IQ3_XXSです。
Unslothの公式データだと精度は88%保持。
パフォーマンス
環境
私のいつものAI PC
ロード時
合計60GB程度
推論時
いつもの利用規約の要約です。
バッチは1024/1024がちょうどいいかな。
そしてPP200程度出る上にTGも20程度出ると…。十分実用域ですね。
ub=256/b=2048
prompt eval time = 77269.60 ms / 11621 tokens ( 6.65 ms per token, 150.40 tokens per second)
eval time = 58032.79 ms / 1074 tokens ( 54.08 ms per token, 18.49 tokens per second)
total time = 135302.38 ms / 12695 tokensub=512/b=2048
prompt eval time = 61813.89 ms / 11621 tokens ( 5.32 ms per token, 188.00 tokens per second)
eval time = 55894.34 ms / 1039 tokens ( 53.85 ms per token, 18.57 tokens per second)
total time = 117708.22 ms / 12660 tokensub=1024/b=1024
prompt eval time = 53235.07 ms / 11621 tokens ( 4.58 ms per token, 218.30 tokens per second)
eval time = 4096.89 ms / 79 tokens ( 52.52 ms per token, 19.04 tokens per second)
total time = 57331.96 ms / 11700 tokens
ub=1024/b=2048
prompt eval time = 52936.35 ms / 11621 tokens ( 4.56 ms per token, 219.53 tokens per second)
eval time = 59929.93 ms / 1087 tokens ( 55.18 ms per token, 18.12 tokens per second)
total time = 112866.28 ms / 12708 tokens
ub=1024/b=4096
prompt eval time = 53326.53 ms / 11621 tokens ( 4.59 ms per token, 217.92 tokens per second)
eval time = 79834.04 ms / 1475 tokens ( 54.16 ms per token, 18.46 tokens per second)
total time = 133160.57 ms / 13096 tokensub=2048/b=2048
prompt eval time = 50702.92 ms / 11621 tokens ( 4.36 ms per token, 229.20 tokens per second)
eval time = 48977.73 ms / 914 tokens ( 53.64 ms per token, 18.64 tokens per second)
total time = 99680.65 ms / 12535 tokensub=4096/b=4096
prompt eval time = 53601.07 ms / 11621 tokens ( 4.61 ms per token, 216.81 tokens per second)
eval time = 52939.80 ms / 966 tokens ( 54.86 ms per token, 18.23 tokens per second)
total time = 106540.88 ms / 12587 tokens一般的な評価
Claudeより上だと!? チャットボットアリーナ
私はいつもここでモデルの能力を参考にしています。
今現在のランキングを見てみると、まだ集計中ですがやばいですねw。
Claude-opus-4.8より上なのか!?。
てかこの前のDeepSeek v4 flashも下してる。サイズ半分だぞ!?
なんだよこの化け物は!!!これを個人が所有できるなんて…
ちなみにこのサイトでは、二つのモデルの回答をどっちがいいか評価するという形で対戦し、あのモデルよりこのモデルの方が優れているの連鎖で順位を出しているようです。
所感
前提
下記記事でやったものをQwen3.8Flashにもやってもらいます。
※上で述べたようにIQ3_XXQモデルでの実証です。本来に比べて劣化していますのでご注意。
思考が長い
労力はミディアムに設定したはずなんですが、こんなもん?
Qwenシリーズも超思考になってきたと。lowにすべきだったか。
これ6.8k出力ありますがほぼ思考です。多すぎ。
prompt eval time = 9540.52 ms / 1318 tokens ( 7.24 ms per token, 138.15 tokens per second)
eval time = 466410.57 ms / 6807 tokens ( 68.53 ms per token, 14.59 tokens per second)
total time = 475951.09 ms / 8125 tokens思考は英語で安定
オープンモデルの思考中の言語って、大体トレーニング時かユーザーからの問いかけの言語に引っ張られるのですが、英語で安定しています。
思考のトークン効率がよさそうです。
指示追従性◎
30B級MoEだと事前に書いたルールを無視して進めちゃうことが多いのですが、さすが100B級。ちゃんとレビューを求めよという指示で停止しました。
後ちゃんと日本語ですね。
Lagunaだと英語気質なので英語だったりするんですが、ちゃんと報告は日本語と。
リポジトリを先に見てるのも◎。ほかモデルではmainにコミットするなと書いたのにコミットしてたりするのでw
中国語△
中国語が出ますね。日本語も漢字使うから難しいのかな?
まぁなんとなく言いたいことわかるからいいんだけど
安定性〇
一度だけツール呼び出しを忘れることがありましたが、それ以降は特に何も問題なく完了しました。
リザルト
トークンサマリ
llama.cppを独占で使うので確実にキャシュヒットする。
なので純粋な計算量は以下になる。
総入力トークン:21.7k
総出力トークン:14.6k
新規実装なので、読み込みはルールファイルくらいであとはたまに読み直しが入ったりテストで修正したりすると入力が嵩みだす感じ。
成果物
一発で仕様通りに完動するものができました。
Laguna S2.1 (118B-A8)はビジョンが無いからなのか、ダークモードまでは良かったものの、文字が黒でコントラストが壊滅してたのですが、Qwen3.8ではそんなことはなく一発で合格ですね。
成果物2 Androidアプリ
別記事でAndroidアプリ開発を、環境構築からデバッグまで丸投げしました。
ここまで対応できてしまうとは…。
まとめ
ローカルLLMの新常識
もう少し使い込む必要はありそうですが、このベストサイズにパフォーマンス、どう考えてもローカル開発環境はQwen3.8 Flash Next一択になりそうです。
勿論用途別で分けて考えるべきですが、今回のような丸投げパターンはほかの選択肢はないでしょう。
既存モデルとの比較
Qwen3.8 Flash 素晴らしい能力とサイズやパフォーマンスのバランスです。
Laguna S2.1 118B-A8 IQ4
サイズが54GBで100Bクラスでは載せやすい。
日本語トークン分割が下手でQwenの1.5～2倍ほどのトークンが要る。
個人レベルでも難しい要求だと手に余り始めるDeepSeek v4 Flash 284B-A13 IQ2
2Bitでも84GBあり常時運用が難しいモデル。安定性と能力は高い。
巨大ゆえにパフォーマンスが悪く常用は厳しい。Qwen3.8 Flash Next 125B+51B-A6 IQ3
3Bitなら76GBとギリギリほかのモデルとかち合ってもロードしきれるサイズ。ビジョンもサポートしている。
今後の運用
128GBのRAMがあればQwen3.6 35B-A3 Q4とQwen3.8-Flash-Next IQ3は同時に乗るので100B級はLagunaから乗り換え。
どうしてもかつかつならLagunaに戻すかもってくらい。
それではまたお会いしましょう。
リンク集
感想投稿フォーム
コメントは公開で恥ずかしい!! Rcatだけに送りたい人向け
