無料のVPSサーバーや格安ローカルVMでAIを動かしたら、どこまで使える？

2026年10月1日 11:41

OCIで、無料のVPSサーバーを立てました。メモリーが6GBもあるので、小さなAIを動かしてみることにしました。せっかくなので、構築もAIに頼みます。「くろこちゃん、このサーバーでAIを動かして、APIで呼び出せるようにして」。

カリンちゃんはプログラマではありません。ただ、「こんなものが欲しい」「こんなことができたらいいのに」はたくさんあります。以前なら、知識も技術もないからと諦めていたことも、今はAIに相談できます。このnoteは、そんな「素人＋AI」で実際に作ったり、壊したり、直したりしている記録です。

今回も、ちゃっぴぃと相談して、くろこちゃんに作業を頼みます。くろこちゃんは、サーバーで実際に作業してくれるAI、Codexです。カリンちゃんはコードを書かず、報告を読んで、次に何を試すかを相談します。

小さなAIの使い道

普段相談しているChatGPTやClaudeのような賢さを、この小さなサーバーに期待しているわけではありません。でも、文章を分類したり、必要な情報を取り出したり、短く要約したりする仕事ならどうでしょう。用途を絞れば、小さなAIにも任せられることがあるかもしれません。

そこで、アプリから呼び出せるAI APIサーバーにしてみます。APIというのは、プログラムから「この文章を分類して」などと頼み、結果を受け取る窓口です。人間が毎回チャット画面に貼り付けなくても、アプリの処理に組み込めます。

今回の無料VPSは、CPUが1 OCPU、メモリーが6GB。まずQwen3-1.7Bという小さなモデルを動かすと、生成速度は約6.1トークン／秒、メモリー使用量は約2.5GiBでした。トークンは文章を処理する単位で、ここでは数字が大きいほど、回答を速く生成できると考えてください。

もう少し大きなQwen3-4Bも試しました。こちらは約2.8トークン／秒、メモリー使用量は約4.7GiB。今回の試験ではメモリー不足で落ちず、外部の処理を呼ぶためのツール呼び出しも成功しました。

ただ、動くことと、待ち時間が気にならないことは別です。会話のたびに待つなら、もっと速くしてほしくなります。でも、夜のあいだに順番に処理して、朝までに結果が出ればよい仕事ならどうでしょう。急がない用途には、使い道がありそうです。

比較のため、自宅のProxmox上のVMでも試しました。こちらは4 vCPU、メモリー8GBに、手持ちのQuadro P2000という古～いGPUを割り当てます。VRAMはたった5GB。同じQwen3-4Bを動かすと、約27.5トークン／秒になりました。

無料VPSの約2.8に対して、約10倍です。GPUの効果は大きいですね。ただし、P2000には取得費があり、自宅で動かせば電気代もかかります。VMを作るだけで、この速さになるわけではありません。

無料VPSは遅いけれど、無料枠の範囲なら利用料金はゼロです。コスパだけで考えれば、「分母がゼロ円だからコスパは無限大」と言いたくなります。もちろん処理できる量には限りがありますが、速さにお金を払う必要があるかは、任せたい仕事によります。

お試しサイトとして、日刊カリンちゃんを作成してもらいました。無料AI APIで、集めたニュースを日本語で短くまとめる仕組みです。ニュースの収集や重複の整理は通常のプログラムで行い、要約するところを小さなAIに任せます。読む前に処理しておけばよいので、会話のような即答は必要ありません。

まだ、何でも安心して任せられると確認したわけではありません。自分のアプリで使うには、その仕事に合った試験をして、回答の間違いも確かめる必要があります。まずは、小さく区切った処理から試していくつもりです。

無料のサーバーに、AIに頼んでAIサーバーを作ってもらう。そこで動く小さなAIを、アプリの裏側で働かせる。最高の賢さや速さがなくても、必要な仕事が済めば、それで役に立ちます。

カリンちゃんが寝ているあいだに、ゆっくり働いてくれればいい。そういう仕事も、探せば結構ありそうです。