MacBook Airの上で、AIが暴走した話。｜ローカルLLM検証記 💻

MacBook Airを買った。

M5チップ、メモリ32GB、ストレージ1TB。事業の第一歩として、税込で約27万5千円。AppleCareを入れて30万円を超えた。💸

届いた箱を開けて、セットアップを終えて、最初にやったことがある。

ローカルLLMを動かしてみた。 🤖

ローカルLLMは、クラウドを使わず手元のPC1台だけでAIを動かす仕組みだ。

• 機密情報が外に漏れない 🔒

• ネットがなくても動く 📶

• ランニングコストは電気代だけ ⚡️

中小企業にとって大きい意味を持つはずだが、まだ自分の目で確かめていなかった。だから確かめることにした。

バイブコーディングで「自動ベンチマークシステム」を作る 🛠️

ベンチマークをやるからには、ちゃんとした仕組みが欲しい。モデルに質問を投げて、回答速度と回答品質を自動で測定し、結果をスプレッドシートに飛ばしてダッシュボードにする。そんなシステムだ。

ただ、自分はゴリゴリのエンジニアではない。そこで使ったのが「バイブコーディング」。AIアシスタントに自然言語で指示を出しながら、対話の中でプログラムを組み上げていく方法だ。🐍

無料ツール「Ollama（オーラマ）」をベースに、こんなやり取りの繰り返しだけで、10問の質問を投げ、速度（TPS）を計測し、別のモデルが回答を自動採点するシステムが出来上がった。⚖️

4つのモデルを走らせた結果 🏁

テストしたのは以下の4モデル。すべて4-bit量子化（軽量化）された状態で動かした。

• Gemma2 (9B) ― Google開発。Denseモデル

• Llama3.1 (8B) ― Meta開発。Denseモデル

• Qwen3.5 (9B) ― Alibaba開発。Denseモデル

• Qwen3.5 (35B) ― 同上。ただしMoE（後述）

モデル間に10分の冷却インターバルを挟んで実行した結果がこちらだ。

モデル名平均速度 (TPS)評価
Llama3.1 (8B)　27.7　最速。安定感抜群 🚀Gemma2 (9B)22.7堅実。バランスが良い ✨
Qwen3.5 (35B)　18.8　35Bのわりに速い 🐘
Qwen3.5 (9B)　14.5　一番遅い。なぜ？ ❓

この結果には、2つの「なぜ？」が含まれている。

35Bが速い理由と、9Bが遅い謎 🧠

まず35Bの速さについて。これは実はそこまで不思議ではない。

Qwen3.5 35Bは「MoE（Mixture of Experts：混合専門家）」というアーキテクチャを採用している。総パラメータ数は35B（正確には36B）だが、1つの質問に対して実際に稼働するのはそのうちの約3Bだけ。残りは休んでいる。

専門家チームの中から、その都度適切なメンバーだけが出動するイメージだ。

見かけは35Bでも、実稼働は3B。 だからTPSが出る。

問題はそこじゃない。同じDenseモデル（全員で考えるタイプ）同士で比べたとき、Qwen3.5（9B）だけが異常に遅い。 同規模のGemma2と比べても、36%も差がある。

熱ダレか。メモリか。推測だけでは分からない。だから再検証することにした。

冷やしてから、もう一度 ❄️

Macを完全に冷ました状態で、Qwen3.5（9B）だけを単独で走らせた。

結果。歴史は繰り返した。

Q1からQ3までは順調。ところがQ4に入った瞬間、フリーズした。 5分経ってもレスポンスが返ってこない。タイムアウトで強制スキップ。続くQ5も、Q8も同じ。

前回と全く同じ設問で止まっている。これは熱ダレではない。もっと根本的な何かが起きている。🔎

犯人は「文字数制限」だった ⚠️

止まった設問を並べてみると、共通点が見えた。

• Q4：「100文字程度の短い物語を作ってください」

• Q5：「30文字以内で要約してください」

• Q8：「3つ挙げてください」

すべてに「文字数」や「個数」の制約がかかっている。

LLMは文章を「トークン」という単位で生成する。人間が文字を数えるようには数えられない。文字数条件を満たそうとして書き続け、「まだ足りない」と判断して同じ言葉を繰り返し、文章を終わらせるための停止信号を出せなくなる。そして無限ループに入る。🌀

このとき、文脈を記憶するメモリ（KVキャッシュ）が際限なく膨張する。実際、Macのメモリ使用量が12.5GBから20GBへ一気に8GBも跳ね上がり、速度は約35%も落ち込んだ。

真犯人は、文字数制限によって引き起こされたハルシネーション（暴走）だった。

ただし、暴走したQwen 9Bも文字数制限のない設問ではほぼ満点の回答を出していた。「天才肌だが、ルールに縛られるとパニックを起こす」。そんな個性を持つモデルだったのだ。

「なぜ」を追いかける、診断士的な思考 ✨

27万円のノートPCの上で、4つのAIが走り、1つは暴走し、自動採点も全滅した。

それでも「面白い」と思った。

• 見かけのパラメータ数に騙されてはいけないこと。

• MoEという仕組みが「小さな計算で大きな知性」を実現していること。

• LLMには「文字数を数える」という人間にとって当たり前のことができない弱点があること。

完璧に動かなかったからこそ、見えたものがある。

なぜ遅いのか。なぜ止まるのか。その「なぜ」を追いかけ、原因を突き止める。気づけば自分が診断士の勉強で身につけた「仮説→検証」の思考回路が自然と動いていた。

次回は、この検証環境に最新世代のGemma4ファミリーが登場する。

2Bクラスの超軽量モデルが、今回最速だったLlama 8Bすら超える性能を叩き出した話を書こうと思う。

SNS・関連リンク 🔗

• X（旧Twitter）： @aisaka_masaya 日々の思考の断片を書いています。フォローいただけるとうれしいです！ ✨