熱が、すべてを変えた。｜ローカルLLM検証記 #4 🌡️

冷やした。それでも遅かった。

前回の記事の末尾でこう書いた。「あのQwen 9Bが、なぜ冷却しても遅かったのかの答えが、ついて出た」。

今回はその答えを書こうと思う。

検証の設計を変えた 🛠️

記事#1で動かしたベンチマークには、見えていない変数があった。

4つのモデルを連続で走らせたとき、前のモデルの熱が残ったまま次のモデルが動き始める。本当の速度なのか、熱ダレした速度なのか、区別ができない。

だから Rev.02 では2つのことを変えた。

• モデルとモデルの間に、10分間の冷却インターバルとメモリ完全解放を挟む

• Appleが公式に提供しているコマンド（sudo powermetrics）で、問ごとに「サーマルプレッシャー」を記録する

サーマルプレッシャーとは、MacBook内部のチップが感じている熱負荷の公式指標だ。状態は3段階ある。

1. Nominal（ノミナル） ― 正常。余裕がある ✅

2. Moderate（モデレート） ― 注意。やや高負荷 ⚠️

3. Heavy（ヘビー） ― 警告。OSがクロックを強制的に下げ始める 🔥

「クロックを強制的に下げる」とは、CPUやGPUが発熱しすぎると、MacのOSが自動でチップの動作速度を落とす保護機能（サーマルスロットリング）のことだ。エンジンが過熱したとき、自動でアクセルが踏み込めなくなるようなものだ。

この仕組みが、どのモデルにどのタイミングで発動しているのか。それを可視化するのが今回の目的だった。

Qwen 9Bは、1問目で限界を超えていた ⚡️

結果を見て、正直驚いた。

サーマルプレッシャーの推移（全10問）

• Gemma2 9B ― Q1からQ10まで、ずっと Nominal

• Llama3.1 8B ― Q1からQ10まで、ずっと Nominal

• Qwen3.5 9B ― Q1は Nominal。Q2で即 Heavy。以降ずっと Heavy

• Qwen3.5 35B（MoE） ― Q1〜Q2は Nominal。Q3から Heavy

GemmaとLlamaは、10問完走してもMacの体温計を一切動かさなかった。Heavyどころか、Moderateにすら届かない。ファンレスのMacBook Airで、涼しい顔で動き続けた。

一方Qwen 9Bは、たった1問答えた直後のQ2で、いきなり最高警告レベルのHeavyを叩き出した。冷間スタートからの1問で、だ。

10分間冷やしても、1問走らせれば熱が限界に達する。 これが「冷やしても遅かった」の正体だった。

熱が、TPSをどう変えたか 📈

サーマルスロットリングが発動すると、実際にどれだけ速度が落ちるのか。

Rev.01（連続実行・熱ダレあり）とRev.02（冷間スタート・インターバル有）のTPS平均値を比較する。

• Gemma2 9
  ：Rev.01 約22.7 TPS → Rev.02 約22.5 TPS（ほぼ変化なし）

• Llama3.1 8B
  ：Rev.01 約27.7 TPS → Rev.02 約27.2 TPS（ほぼ変化なし）

• Qwen3.5 9B
  ：Rev.01 約14.5 TPS → Rev.02 約12.3 TPS（低下）

• Qwen3.5 35B（MoE）
  ：Rev.01 約18.8 TPS → Rev.02 約15.6 TPS（低下）

Qwen 9BはNominalのQ1だけ見ると17.3 TPSが出ていた。ところがHeavyに突入したQ2以降は13.8、11.4と右肩下がりで落ちていく。最速と最遅で約6 TPS、率にして35%の差だ。

GemmaとLlamaは、Rev.01で「熱ダレありの状態」で計測していても変化がなかった。それだけHeavyに達しにくい体質だということでもある。

「GemmaとLlamaは10問走ってもNominalを保てる」という事実は、前回最速のLlama3.1 8Bが単なる速いモデルではなく、安定して速いモデルだったことを証明している。

MoEは「軽い」はずだった 🧠

当初の仮説では、Qwen 35B MoEは「活性パラメータが3Bと軽いから、熱ダレしにくいはず」と考えていた。

MoEの仕組みは、1問に対して実際に動くのはパラメータ全体の一部だけ。見かけは35Bでも、演算量はずっと小さい。だから熱もそれなりに小さいと予測していた。

実際、Q1とQ2はNominalを保っていた。予測どおりだった。 しかしQ3から、35BのMoEもHeavyに突入した。

理由は「文脈の蓄積」だ。

MoEが得意とするのは「1問あたりの演算量を減らすこと」だ。しかし、問答を重ねるにつれ、過去のやり取りを記憶するKVキャッシュが膨らんでいく。10問目には、1問目のQ1が持っていなかった長大な文脈が常に読み込まれる状態になる。

MoEは「1問の計算」は軽くできる。しかし「文脈の蓄積」からは逃げられない。 Q3以降のTPS推移は露骨だった。初期の23.9 TPSが、終盤には12.1 TPSへと半減した。

メモリは、無実だった ⚖️

もう一つ確認しておきたかったのが、メモリの役割だ。

Qwen 9Bが文字数制限の設問でフリーズしたとき（記事#1）、最初の仮説は「メモリが溢れたのではないか」だった。

実際の計測値はこうだ。

• Qwen 9B フリーズ直前のメモリ使用量：13.6〜13.9 GB（32GB中）

• システム全体の使用率：42〜43%

メモリは溢れていない。MacBook全体がクラッシュしているわけでもない。

フリーズの原因は、メモリではなく**ハルシネーション（暴走）**だった。文字数を守ろうとして出力が止まらなくなり、無限ループに入ったモデルが、5分間（タイムアウト設定値）動き続けた。

熱とメモリ、それぞれ別の問題として整理すると：

• 熱：Qwen 9Bの異常な演算負荷が、ファンレスMacBook Airの排熱限界を1問で突破する

• メモリ：フリーズの直接原因ではないが、他モデルより常に重い体質

Qwen 9Bの「遅さと暴走」は、この2つが重なった結果だった。

記事#1で、Qwen3.5 9Bについてこう書いた。「天才肌だが、ルールに縛られるとパニックを起こす」。

今回の検証を終えて、もう一つ付け加えたい。

「冷やしても、1問で燃える」。

Gemma2とLlama3.1は、MacBook Airの排熱能力の範囲内で動く体質を持っていた。Qwenはそうではなかった。賢さの代償として、熱量が高かった。どちらが優れているかの話ではなく、使う環境に合った「体質」がある、ということだ。

診断士として、「なぜこのモデルだけ遅いのか」を問い続けた先に出た答えは、意外なほどシンプルだった。

熱が、すべてを変えていた。

SNS・関連リンク 🔗

• X（旧Twitter）： @aisaka_masaya 日々の思考の断片を書いています。フォローいただけるとうれしいです！ ✨