MoEと蒸留：DeepSeekが衝撃だった要素

DeepSeekは、スケーリング則そのものを覆すまではないけれど、ビッグテックのデータセンター計画を大きく変更させたり経済的な衝撃は大きい。
ざっと文献とか目を通して、MoEと蒸留が抑えておけば良さそうなキーワードなのかな、と気になっていたので今回調べた。

MoEアーキテクチャ

複数の「専門家」LLMモデルを組み合わせて、特定のタスクやデータセットに対してより効果的に対応できるように設計したものらしい。
Introduction of Model Merging

機械学習の分野で言うところのアンサンブル学習が概念的には近そう。
LLMでは、deepseekの他に、mistralとかgrokでも使われてるっぽい。

知識蒸留（Knowledge Distillation）

大規模で高精度なAIモデル（教師モデル）が持つ知識を、より小規模で軽量なモデル（生徒モデル）に効率よく転移する技術。
法律を絡めつつ蒸留モデルとかの理解もしやすい記事がいくつかあった。

LLMの蒸留に関するサーベイ論文もあった。知識の伝達方法や蒸留の手法、Hinton流の知識蒸留(出力模倣)から現代の知識蒸留(思考過程模倣)への変遷などを整理してる。

計算資源への投資は何で変わるのか

いろんな記事をAIを使ってサマりながら読んだが、特定のタスクやデータ構成、ハイパーパラメータの選択によってはスケーリング則が単純には当てはまらない場合があるけれど、スケーリング則は拡張されて「実用的な適用範囲」を広げたのであり、スケーリング則そのものを覆してはいないらしい。頭を整理するには一度ちゃんと原典を読み込んだ方が良いかも。。。

とはいえ、従来よりも低コストで高性能なモデルが実現可能になってる。
でも、計算効率の進歩は、計算資源への投資を減らすのではなく、逆に増やすという記事も。

その分水嶺はAIが投資に応じた経済的価値を生み出せるか否かだとのこと。言われればごもっとも。