Laguna-S-2.1を試す ～使い方次第で普通に使える最高性能ローカルLLM ただし弱点も?～
こんにちはRcatです。
昨日惨敗したLaguna S 2.1リベンジします。
よく考えたら、フォークにこだわってばかりで、普通llama.cppで試してないじゃんということに気づきましてね。で結果普通に使えました!
というわけでそのまとめとなります。
昨日の惨敗はこちら
はじめに
利用規約
情報や作品の活用時は事前に利用規約をご確認ください。
コメントについて
利用規約のガイドラインを確認の上コメントしてください。
則っていないコメントは削除します。
概要
前回の失敗
前回は用意された専用のフォークをビルドしたのですが、GFX1151のROCmではFlash Attention関連が対応しておらず落ちる状態でした。
その結果Flash AttentionをOFFにせざる負えず結果として惨敗なパフォーマンスとなってしまいました。
思いつき
しかし・・
Lagunaの別シリーズが結構前からあるっぽいんですよ。つまり、lagunaアーキテクチャ、ワンチャン素のllama.cppでも読めるのでは?
ということで適当に読み込んでみたところ普通に動くではありませんか!
DFlash云々が専用ブランチっぽいので使わないのであれば大丈夫。
Ryzen AI MAX 395で動かす
メモリ消費
というわけでまずはメモリから。
45.3GBのメモリ消費で入りました。まぁIQ3XXSなんで。
ちなみに、ロード中（多分KV確保前）は41.3Gだったので、128kのKVは約4GBか?
あれ、64GでギリIQ4XS入る?
パフォーマンス
さて、期待のパフォーマンスがこちら!
やばい、ギリ実用範囲なんですけどw
内容はいつも通り私の利用規約の要約です。
ちなみに、前処理の220t/sですが、ログを見るとこんな感じです。
グラフにするとこう。最初急激に落ち込みますが、10k超えたあたりから落ち込みにくくなっている。
なので、長文を突っ込んでもこれ以上遅くなりにくいと思われます。
気づいてしまった弱点
これを見てください。何か気づくことがあると思います。
入力トークン数が違うんですね。
でもこれ、どっちも同じ私の利用規約の要約なんです。
単純に上がLagunaで下がQwen3.6 35B-A3
これ見て言えるのが、日本語のトークン分割が下手。
Tokenizer分析
さて、Lagunaは日本語のトークン分割が下手っぽいことがわかりましたが、実際どんな分け方するんでしょうね?
というわけで実際に見てみましょう。
分析方法
オリジナルのモデル配布部分を見ると下の方にtokenizer.jsonというファイルがあります。
これに全部書いてあるので、これを分析します。
人間が読むものではないので、Pythonのtokenizerライブラリを使って読み込んでから文字を渡してトークンにデコードするのが楽です!
分析結果
Qwen3.6の1.5倍程度のトークンとなりました。
こうしてみてみると面白いですね。
Lagunaさん、「む」2トークンなんですかw
「渡」も2トークンですね。昔は漢字が2トークン当たり前でしたけど、こういうの残ってるの見ると日本語弱そうだなぁと感じてしまう。
Qwenは「を使って」とか「ではない」「するのが」といった、単語というよりかは言い回しを1トークンとして扱っている辺り、日本語に力を入れているように思えます。
Lagunaいじめ「むむむ!困ったなぁ」ほぼ全部2トークン要るというw
Qwenはさすがとしか言いようがないw
日本語以外は問題なさそう
Pythonの一行で長いスクリプトを流すとこんな感じ。Qwenと一緒。
英文に関してはQwenより1トークンだけ少ない。
これらの結果から、Lagunaを使う場合は極力英語で指示を与えたほうが性能が出やすいと予想されます。
日本語トークン分割が甘い→日本語のデータが不足している可能性あり
プログラム/英語は同等→コーディングエージェントとしては期待していいかも。
AGENTS.MDとか、思考過程なんかは全部英語にして、ユーザーに見えるところだけ日本語にするのが一番効率のいい使い方になるのかな?
IQ4XSも試した
というわけでIQ4_XSもDLしました。
メモリ消費
ギリギリ入りますね。モデル本体は54GBくらい。この桁になるとKVが誤差に見えてくるw
パフォーマンス
ん?
再掲 IQ3のとき
あ、GPU性能が足引っ張ってますね。
3Bitと4Bitなら3Bitのほうが計算し辛いから遅くなるのか…。
デコードはメモリ依存なので、単純に小さい3Bitのほうが少しだけ早い
低下率がこんな感じ。
3Bitも再掲。同じトークンの時3Bitのほうが遅いのがわかりますね。
メモリに入るなら3Bitはやめろってことですね。
性能（能力）
実際にタスクを与えてみた結果
本モデルの性能は下記の記事で実際に利用してみたので、こちらを参考にしてください。
今までの30B級と違い、完全な丸投げタスクを遂行することができます。
まとめ
本日はLagunaにリベンジしました!
20t/sならギリギリ許容範囲のパフォーマンスです。
VRAM64GでもIQ4 XSが128kコンテキストで収まることが分かったので、使うならIQ4XSですね。
次は2Bitでも試してみる?118Bなら行けたりしてw
時間がないのでこのモデルがエージェントとしてどの程度能力を持っているのかはまだベンチできませんが、100B超えてるんだから期待していいでしょう。
ではまた次の機会にお会いしましょう。
LagunaS2.1を使っている記事はこちら
リンク集
感想投稿フォーム
コメントは公開で恥ずかしい!! Rcatだけに送りたい人向け
