oMLXの使い方——Macの中でモデルを常駐させて、続きの会話を計算し直さない

Macの中でモデルを動かしていると、同じところで時間を溶かしませんか。

長い会話の続きを投げるたびに、頭から計算し直される。前と同じ前提を渡しているのに、また待つ。

oMLXという推論サーバーは、そこに手を入れています。作者のREADMEにこう書いてあります。「Every LLM server I tried made me choose between convenience and control.」——試したどのサーバーも、手軽さか制御かのどちらかを選ばせてきた、と。

jundot/omlx（2026年9月7日確認・Apache License 2.0）を実際に読んで整理しました。今日は使い方を、動かすところから接続先を向けるところまで順に書きます。

oMLXは、Mac専用の推論サーバー

位置づけは「LLM inference, optimized for your Mac」。Apple Siliconに最適化したローカルの推論サーバーです。

動く条件がわりとはっきりしている。macOS 15.0以上、Python 3.11〜3.13、そしてApple Silicon専用（M1からM5まで）。Intel Macは対象外です。

特徴として押しているのは3つ。よく使うモデルをメモリに常駐させておけること、重いモデルを必要な時だけ入れ替えられること、そして会話の途中経過を保存して使い回せること。メニューバーから全部操作できる、というのが体験としての売りですね。

入れ方は3通り

いちばん簡単なのはReleasesから .dmg を落として、Applicationsへドラッグする形です。自動更新が付いています。

コマンドで入れるならHomebrew。

brew tap jundot/omlx https://github.com/jundot/omlx
brew install jundot/omlx/omlx

ソースから入れる道もあります。

git clone https://github.com/jundot/omlx.git
cd omlx
pip install -e .

ここで1つ、後で効いてくる注意があります。素の pip install -e . では、高速化用のカスタムカーネルはビルドされません。 READMEにも「A plain pip install -e . does NOT build them」と明記されています。後半でもう一度触ります。

使い方1: 起動する

Homebrewかアプリで入れたなら、常駐サービスとして扱える。

omlx start
omlx stop
omlx restart

前面で動かして様子を見たいときは serve です。

omlx serve --model-dir ~/models

--model-dir が肝で、ここに指定したフォルダの中を見にいく。

設定は ~/.omlx/settings.json に保存され、コマンドラインのフラグのほうが優先されます。普段の設定はファイルに書いておいて、試したい時だけフラグで上書きする、という使い分けができます。

使い方2: モデルの置き場所を決める

モデルは、指定したフォルダのサブディレクトリとして置くだけで自動検出されます。

~/models/
├── Step-3.5-Flash-8bit/
├── Qwen3-Coder-Next-8bit/
├── gpt-oss-120b-MXFP4-Q8/
└── bge-m3/

置いたものが全部メモリに載るわけではありません。使われていないものからLRUで自動的に退避します。既定のメモリ上限は、システムのRAMから8GBを引いた値。

で、ここに調整の口がいくつかあって、よく使うモデルはピン留めして常駐させられます。逆にモデルごとにアイドルのTTLを設定して、しばらく呼ばれなければ降ろす、もできる。

毎日使う小さいモデルはピン留め、たまに呼ぶ大きいモデルはTTL短め。この組み方が素直だと思います。

使い方3: SSDキャッシュを効かせる（ここが本題）

冒頭の「計算し直される」問題に効くのがこれです。

oMLXのKVキャッシュは2段構成になっています。熱い層がメモリ、冷えた層がSSD。READMEの説明はこうです。

「When the hot cache fills up, blocks are offloaded to SSD in safetensors format. On the next request with a matching prefix, they're restored from disk instead of recomputed from scratch—even after a server restart」

熱い側がいっぱいになったブロックはsafetensors形式でSSDへ退避し、次に同じ先頭部分を持つリクエストが来たら、計算し直さずディスクから戻す。しかもサーバーを再起動しても残る。

使うにはディレクトリを指定する。

omlx serve --model-dir ~/models --paged-ssd-cache-dir ~/.omlx/cache

熱い側の大きさも決められます。

omlx serve --model-dir ~/models --hot-cache-max-size 20%

同じ長いシステムプロンプトを毎回渡す使い方——エージェントに定型の前提を持たせるような形——だと、ここがいちばん効く場所になります。

接続先はOpenAI互換なので、既存のツールがそのまま向く

サーバーは http://localhost:8000/v1 で立ちます。OpenAI互換です。

用意されている口は、/v1/chat/completions、/v1/completions、/v1/embeddings、/v1/rerank、/v1/models。そして /v1/messages があって、これはAnthropicのMessages APIの形です。

つまり、OpenAI形式で書いたクライアントもAnthropic形式で書いたクライアントも、接続先を差し替えるだけで向けられるということですね。

同時リクエストは mlx-lm の BatchGenerator で処理されます。並列度を上げたいときは --max-concurrent-requests 16 のように指定します。

鍵をかけたいときは --api-key を付ける。ローカルとはいえ、同じネットワークに他の機械がいるなら付けておくほうが安心です。

管理画面は http://localhost:8000/admin。メニューバーのアプリからは、ターミナルを開かずに起動停止・監視・落ちた時の自動再起動まで扱えます。

カスタムカーネルの話（入れ直しになる前に）

最初に触れた件です。

高速化用のカスタムカーネルは、素の導入ではビルドされません。付けるならこう。

OMLX_WITH_CUSTOM_KERNEL=1 pip install -e .

無くても動きます。ただ、対象のモデルは遅い汎用の経路に落ちる。READMEはGLM-5.2について「the fused DSA prefill is roughly 30x faster with the kernels」——カーネルありのほうがおよそ30倍速い、と書いています。

いや、それ最初から入れておけばよくない？

そうなんですが、ビルドに時間がかかるので、まず動かして、遅いと感じたら入れ直すでいいと思います。小さいモデルを試すだけなら差は出ません。

「なぜか遅い」と思ったときに、この一行を思い出せるかどうかの話です。

今日、30分でできること

.dmg を落として入れて、~/models に小さいモデルを1つ置いて、omlx serve --model-dir ~/models で起動する。

ここまでで15分くらいです。

そのうえで、いま使っているツールの接続先を http://localhost:8000/v1 に向けてみてください。OpenAI互換なので、たいていはURLの差し替えだけで通ります。

SSDキャッシュは、その次の日に足せばいい。 先に「自分の道具が向くか」を確かめるほうが、判断が早くなります。

▶ 関連記事: LoopXの使い方——AIに長い仕事を任せるとき、途中で止めて戻れるようにする

オープンソースのAIツールを実際に動かして確かめた記録と、選ぶときの判断基準をまとめた資料を用意しています。

👉 オープンソース研究所6大特典を受け取る

#oMLX #MLX #AppleSilicon #ローカルLLM #Mac #推論サーバー #OSS #KVキャッシュ #OpenAI互換 #MCP #生成AI #オープンソース