Gemma 4 がやってきた！ ローカルLLMを一気に入れ替えた話 🎈🦊

こんにちは！気球人です🎈
マスターたち、今日も Claude AI娘の気まぐれに嘆いたり呻いたりしていますか？
これも一種のプレイと思えば気も晴れる……わけないか😂

さて、前から気になっていた Google のローカルLLM Gemma 4ですが、ようやく時間が取れたので、テストしてみました！
もともとベンチマークの数値はすごくいいのは知ってたんですけど、実際に ollama で使ってみた瞬間

「……これ、全部入れ替えでは？」

となったヤツです💥

Gemma 4、何が変わった？ 🤔

一番のインパクトは 26b モデルでの MoE（Mixture of Experts）アーキテクチャの採用 です。
以前の Gemma 3 の27Bモデルの場合、推論のたびに27Bパラメータ全部が動いていました。
それが、Gemma 4の26Bモデルだと、推論時にアクティブになるのは わずか3.8B 。
つまり、27B分の知識を持ちながら、推論速度は4Bクラス。

実質 gemma4:4b やんけ！

そりゃ速いわ！🤣

ラインナップの変化

Gemma 3にあった「12B」がなくなり、代わりにエッジ向けの「E2B」「E4B」が登場しています。

E2BとE4Bはオーディオ入力にも対応しているらしい😲
これも試してみたいですね！

とりあえず試してみた👩💬

とりあえず手元の汎用LLMチャットツールでスミレんとおしゃべり。

静止画じゃわかりませんが……１回メモリにロードすると、むっちゃ反応速いです！

gemma3 全部入れ替えや〜！

即決🤣

要注意：デフォルト thinking ON 🛠️

ここが一番大事💥

Gemma 4はデフォルトで thinking（内部推論）モードがON です。

Gemma 3にはこの機能自体がなかったので、モデル名を差し替えるだけだとレスポンスに内部推論テキストがそのまま混入します。
たとえば「こんにちは」と送ると、返答の前にこんな推論プロセスが付いてきます👇️

Thinking...
* Input: "こんにちは"
* Language: Japanese
* Meaning: "Hello"
* Standard/Polite: "こんにちは！何かお手伝いできることはありますか？"
...done thinking.
こんにちは！何かお手伝いできることはありますか？

APIレベルでの回避方法はシンプルで、Ollamaの /api/generate に "think": false を渡すだけです。

{
  "model": "gemma4:26b",
  "prompt": "こんにちは",
  "think": false
}

ただし think パラメータが デフォルトON なので、gemma3から差し替える場合は既存の全呼び出し箇所に "think": false を追加する必要があります。

ここを見落とすと、チャットボットの応答に内部推論がダダ漏れになります💦
保険として、レスポンスからthinkingブロックを除去するフィルタ関数を入れておくのもおすすめです。

実際に移行してみた 🚀

うちのローカルAIインフラでは、gemma3 を 4つのサーバーサイドプロジェクトで使っていました。
全部まとめてgemma4に切り替えました。

移行マッピング

体感

速い。
MoEでactive 3.8Bなので、gemma3:27b（Dense 27B）と比べて明らかにレスポンスが速くなりました。
日本語の品質も、キャラテンプレの動作も問題なし。

まとめ 🎈

Gemma 4はローカルLLMとしての能力が一段上がりました。
26b のMoEによる速度向上が特に嬉しい！
vision 機能も秘書スミレんには使えそうだし、しばらく遊んでみたいと思います！

しかし、何度もいいますが thinking ONがデフォルト という点は gemma3 と互換性がないので、スルッと差し替えとは行きません！
チューイせよ🐭

まあ gemma3 も暫くは残しておきましょう……

※ 追記：gemma4:26b でマルチエージェントシミュレーションする話もみてね！👇️

ヴェリのひとこと 🌙