ローカルLLMのPoCに300万円使う前に読んでほしい話
はじめに
製造業でローカルLLMの導入が話題になっています。
「ChatGPTは便利だけど、機密情報を扱えない」 「社内にサーバーを置けば、安全に生成AIが使えるらしい」 「最近のローカルLLMは性能が高いと聞いた」
こういった期待を持って、ITベンダーに相談する。担当者は丁寧にヒアリングしてくれます。立派な提案書も届きます。そして見積もり。金額は300万円から1,500万円、期間は3ヶ月から半年。
数ヶ月経って契約が成立し、プロジェクトが進みます。要件定義、環境構築。そして2〜3ヶ月後、ようやく検証環境が完成します。
検討開始から半年が経過。ようやく現場の担当者が触ってみる。
「あれ、このUI、使いにくいな...」 「既存の業務フローに合わない」 「思ったより効果が出ない」
でも、既に300万円を払った後です。
問題は、ITベンダーのPoCが悪いわけではありません。問題は、「触る」のが遅すぎることです。
実際に使ってみないとわからないことは多い。UIの使い勝手、業務フローとの整合性、現場の受け入れ。これらは触ってみて初めてわかります。
この記事では、別のアプローチを提案します。
まず触る。小さく始める。課題を明確にする。そこから判断する。
数百円で1週間試す。30万円で2週間、実環境で検証する。課題も効果も明確になった時点で判断する。自社で本格化するか、専門業者に相談するか、またはやらないか。
「とりあえずPoC」に300万円使う前に、やれることがあります。ご自身で負荷なくできるところまで進めて、課題と効果を明確にしてから業者に相談すれば、もう失敗しません。
1. なぜ「触らないとわからない」のか
レポートには書かれないこと
ITベンダーのPoCレポートには、技術的な検証結果が書かれています。モデルの精度、処理速度、システム構成。でも、実際に導入すると見えてくる問題は、レポートには書かれていません。
触ってみて初めてわかること：
このUIは現場の人が使いこなせるか
実際のデータでどのくらいの精度が出るか
どのくらい手直しが必要か
業務フローのどこで詰まるか
現場の人は本当に使ってくれるか
具体例
ある製造業で、特許文書の翻訳にローカルLLMを導入しようとしました。レポート上は「翻訳精度95%」と記載されていました。
実際に使ってみると：
化学式の部分が誤訳される
図表番号の参照がずれる
1つの文書が長すぎると処理が途中で止まる
結果をExcelに貼り付けると改行が崩れる
これらは全て、実際に触らないとわかりませんでした。でも、これが分かったからこそ、対策も立てられました。
2. 段階的アプローチが最も効率的な理由
課題を正確に把握できる
小さく始めて、段階的に進めることで、それぞれのステップで新しい課題が見えてきます。
ステップ0（体験）: そもそもLLMで解決できそうか
ステップ1（小規模検証）: 実業務での精度、速度、使い勝手の問題
ステップ2（本格運用）: 複数ユーザー、大量データでの問題
各ステップで課題を洗い出し、解決してから次へ進む。この方が、結果的に早く、確実に、本格運用にたどり着けます。
業者に依頼する際も明確に指示できる
もし本格運用で専門業者に依頼する場合、課題が明確になっていることが重要です。
課題が不明確な場合： 「ローカルLLMを導入したいんですが...」 → 業者も何を提案すれば良いか分からない → 汎用的な（高額な）提案になる → 結局、実際の課題解決にならない
課題が明確な場合： 「特許翻訳で、化学式の誤訳が多い。1文書が長いと処理が止まる。この2点を解決したい」 → 業者は具体的な解決策を提案できる → 的確な見積もり → お互い納得できる契約
段階的に進めることで、業者との関係も良好になります。
投資判断が明確になる
各ステップで効果を確認してから次の投資を判断できます。
もし効果が出なければ、早い段階でストップできる。損失は最小限。逆に効果が確認できれば、自信を持って次の投資ができます。
判断例は下記のとおりです。
3. ステップ0: まず体験する（OpenRouter）
目的
「そもそもLLMで解決できそうか」を体感で確認します。
やり方
OpenRouterというサービスを使います。これは様々なLLMモデルを試せるサービスで、ローカルLLMのモデル（gpt-oss-120b、Gemma 3等）も利用できます。
実際の業務タスクを投げてみます。例えば：
技術文書を要約してみる
データを分類してみる
報告書の下書きを作らせてみる
重要なのは、機密情報は使わないこと。サンプルデータや公開情報で試します。
モデル
コスパを重視すると、選択肢は多くありません。
画像も読み取りたい：Gemma3-27b
テキストのみで良い：gpt-oss-120bかQwen3-30a-3b
何がわかるか
LLMで課題が解決できそうか（精度の感覚）
どんな使い方ができそうか
どのモデルが良さそうか
コストと期間
費用：数百円（利用料） 期間：1週間
この段階で見えてくる課題
「意外と使える」 「でも、専門用語が少し怪しい」 「長い文章だとどうなるんだろう」 「実際のExcelデータでどう処理するか」
こういった疑問が出てきます。それが次のステップへのヒントになります。
4. ステップ1: 実環境で課題を洗い出す（Ryzen AI Max+ 395）
目的
実際の環境（機密情報を含む）で試して、具体的な課題を洗い出します。
構成例1
（重要） この30万円の構成は、テキスト処理（gpt-oss-120bなど）を実用的な速度で動かし、「実データでの課題」を洗い出すための最安・最速の検証機です。
もしステップ0で「Gemma 3（画像対応）が必須」と判断した場合、このPCでは出力が遅いため推奨できません。その場合は、ステップ1を飛ばしてステップ2（NVIDIA GPU環境の構築）に進むことを検討してください。
PC : EVO-X2（プロセッサ: Ryzen AI Max+ 395、メモリ: 128GB統合メモリ）
OS : Windows
ソフトウェア: LM Studio（無料）
ChatGPTとほとんど同じ画面のチャットアプリです。モデル例: gpt-oss-120b
画像認識を含む色々なモデルを無料でインストールできますが、Gemma3など高性能モデルの場合は出力が遅いのでNVIDIAのGPUを推奨します。
追記（2025/11/22）
下記noteで検証したQwen3-vlシリーズもかなり良いです。とりあえず、これで試して！
費用：約30万円 セットアップ時間：数時間
何をするか
実際の業務データで試します。そして、現場の人に使ってもらいます。使用例を下記に示します。
最初の1週間は自分で試す。次の1週間は、現場のメンバー2〜5名に使ってもらう。
この段階で見えてくる課題
実際に使ってみると、様々な課題が見えてきます。
技術的な課題：
処理速度が思ったより遅い（特に、ローカル）
特定の専門用語の精度が低い
ファイル形式によってエラーが出る
長い文書だと途中で止まる
業務フローの課題：
Excelとの連携がスムーズにいかない
結果の確認作業が意外と手間
どこまでをLLMに任せるか判断が難しい
現場の受け入れの課題：
「本当に正確なの？」という不安
使い方が分からない人がいる
既存の作業手順との整合性
これらは、触ってみないとわかりませんでした。でも、わかったからこそ対策が立てられます。
効果測定も忘れずに
処理時間、工数削減、品質の変化を記録します。数字で見えると、次の判断がしやすくなります。
5. ここで判断する - 課題が明確になっている
2〜3週間の検証で、手元には以下のものが揃っています：
実運用可能なシステム（30万円で構築済み）
定量的な効果データ
具体的な課題のリスト
現場の生の声
解決策のアイデア
この時点で判断できること
選択肢A: 自社で本格環境を構築
課題が明確で、自社で解決できそうなら、GPU環境を構築して本格運用に進みます。
例えば：
「処理速度が遅い」→ GPU（RTX A6000）を導入
「図表の処理ができない」→ Gemma 3 27B（マルチモーダル対応）に変更、CUDAの使えるNVIDIAのGPUを導入
「複数人で使うと遅い」→ vLLM + OpenWebUIで構築、CUDAの使えるNVIDIAのGPU購入
投資額は明確です。150万〜200万円程度。効果も見えているので、投資判断がしやすい。バックアップや冗長性、電力や設置場所などを加味した構成は、絞られた使用者とユースケースに合わせて検討します。ローカルLLMが必要なのは、全社員ではないはずです。
選択肢B: 専門業者に相談
より高度な課題がある場合、専門業者に相談します。でも、この時点で課題が明確になっているので、打ち合わせが効率的です。
業者への依頼内容： 「現在、Ryzen AI Max+ 395でgpt-oss-120bを運用中。週200件の特許要約で、処理時間が30分→10分に短縮。ただし、以下の課題がある：
化学式の要約精度が低い（改善したい）
1文書10ページ超だと処理が止まる（対策が必要）
図表を含む文書に対応したい（マルチモーダル化）
これらを解決する構成を提案してほしい。予算は100万円程度を想定。」
これだけ明確なら、業者も的確な提案ができます。無駄な検証が不要で、お互い納得できる契約になります。
選択肢C: やらない
もし効果が見込めないと分かったら、ここでストップします。損失は30万円。300万円のPoCをやってから気づくより、圧倒的に安く済みます。
6. ステップ2: 本格環境の構築（必要なら）
選択肢Aを選んだ場合、本格的なGPU環境を構築します。すでに精度の異メーはついているので、実データでどの程度の速度か確認します。サーバー構築に関して社内に全く知見がない場合は、業者と相談推奨です。既存のサーバーがあれば、ステップ1を飛ばして、Gemma3を使える環境構築が可能な可能性があります。
構成例2
GPU: RTX A6000（48GB VRAM以上）
OS: Linux
ソフトウェア: Ollama or vLLM+ OpenWebUI
モデル: Gemma 3 27B（マルチモーダル対応）
費用：150万〜200万円 構築期間：2〜4週間
なぜステップ1で課題を洗い出すことが重要だったか
もし最初からこの構成で始めていたら：
150万円を投資した後で「実は業務に合わない」と気づくリスク
不要なスペック（または不足するスペック）に投資してしまうリスク
ステップ1で課題を洗い出したからこそ、必要な構成が明確になっています。無駄がありません。
7. 従来手法との比較
従来の「とりあえずPoC」アプローチ
「ローカルLLMが良さそう」という漠然とした期待
ITベンダーに相談
300万〜1,500万円で契約
デモデータで、3〜6ヶ月の検証
分厚いレポートを受領
「で、実際どう使うか」をまた検討
実際に使ってみると想定外の問題
再検討...
問題点：
課題が不明確なまま高額投資
「触ってみないとわからない」問題が後回し
時間とお金の無駄
無理やり成果を謳わないと失敗になるので、本質的な課題の隠蔽
提案する段階的アプローチ
OpenRouterで体験（数百円、1週間） → 「使えそうか」確認
Ryzen AI Max+ 395で検証（30万円、2週間） → 課題を洗い出す → 効果を測定 → 現場の声を集める
判断する → 課題が明確、効果も見えている → 自社で本格化 or 業者へ相談 or やめる
本格運用（必要なら） → 無駄のない投資
メリット：
費用：30万円（従来の1/10〜1/50）
期間：1ヶ月（従来の1/3〜1/6）
課題が明確になった状態で判断できる
触りながら進めるので、問題の早期発見
8. 導入事例のイメージ
ある製造業でのユースケースを想定します。
背景
研究部門で、毎週100件の特許文書（英語・中国語）を調査する業務がありました。1件あたり30分かかり、月間で200時間の工数。
ステップ0: OpenRouterで試す（1週間）
特許文書のサンプル（公開情報）で翻訳・要約を試しました。
結果：
「これ、使えそう」という手応え
ただし、化学式の翻訳が少し怪しい
費用：300円
ステップ1: Ryzen AI Max+ 395で検証（2週間）
実際の特許文書で検証しました。調査チーム2名に使ってもらいました。
見えてきた課題：
処理時間：30分 → 10分（良好）
ただし、同時に2名が使うと速度が落ちる
化学式の翻訳は、前後の文脈で判断すれば問題なし
図表を含む文書は処理できない（次の課題）
効果測定：
月間133時間の削減
年間約600万円の工数削減効果（時給4,000円換算）
費用：30万円
判断：自社で本格環境を構築
課題が明確だったので、解決策も明確でした：
複数ユーザー対応 → Ollama + OpenWebUI
図表処理 → Gemma 3 27B（マルチモーダル）
処理速度向上 → RTX A6000
ステップ2: GPU環境構築（1ヶ月）
RTX A6000搭載PCを構築（150万円）。
結果：
課題が解決
チーム内展開（チーム5名）へ
総括
総投資：180万円（検証30万円 + 本格環境150万円）
期間：2ヶ月
効果：年間600万円超
投資回収：約2ヶ月
もしITベンダーPoCを使っていたら：
投資：500万〜1,000万円
期間：6ヶ月
しかも実際の課題は後から判明
段階的に進めたからこそ、無駄のない投資ができました。
9. よくある質問
Q: OpenRouterは安全なのか？
A: 機密情報は使いません。「LLMで処理できるか」を確認するのが目的です。サンプルデータや公開情報で試してください。
Q: 30万円で本当に十分か？
A: 課題を洗い出すには十分です。本格運用は効果確認後に判断すればいいので、リスクは最小限です。
Q: 技術的な知識が必要では？
A: LM Studioなら、ソフトをインストールしてモデルをダウンロードするだけです。基本的なPC操作ができれば大丈夫です。
Q: 段階的に進めると、結局時間がかかるのでは？
A: 逆です。課題が明確になるので、結果的に早く本格運用にたどり着けます。最初から大規模に始めて、後から問題が発覚する方が時間の無駄です。
Q: 結局、専門業者は不要なのか？
A: 不要ではありません。ただし、課題が明確になった後で相談すれば、効率的に進められます。お互いにとって良い関係になります。
Q: 失敗したら？
A: 30万円で早期に判断できます。300万円使ってから気づくより、圧倒的に低リスクです。
10. まとめ
ローカルLLMの導入を検討しているなら、「とりあえずPoC」に300万円使う前に、やるべきことがあります。
段階的に進めることの価値
触らないとわからない課題があります。レポートには書かれない問題があります。段階的に進めることで、それらを早期に発見し、解決できます。
結果的に、無駄のない投資ができます。時間もお金も節約できます。何より、確実に本格運用にたどり着けます。
製造業全体で知見を共有しよう
日本の製造業が、各社で同じ検証を重複して行っている。これは無駄です。製造業では本業で守るべき知見が山のようにあり、LLMの使い方を「機密だから」と躊躇している場合ではありません。
知見を共有して、業界全体で前進しましょう。
最初の一歩を踏み出そう
OpenRouterで試すのに必要なのは、数百円と1週間だけです。それで「使えそうか」がわかります。
分厚いレポートより、1週間の体験。 数ヶ月の検討より、2週間の実践。
段階的に進めれば、課題も効果も明確になります。そこから本格運用へ進むか、専門業者に相談するか、またはやらないか。明確な根拠を持って判断できます。
大手企業に依頼するような「いい感じにやってくれるだろう感」はありません。
課題を考えるのは自分であり、課題解決の責任は業者と現場のユーザーだけではなく自分にも発生します。
でも、現場の本当の課題を把握して、解決に貢献できるか判断できます。
まずは、小さく始めてみませんか。
おまけ
ローカルLLMは楽しいですが、性能や速度を考えるとChatGPTのようなwebサービスに勝てません。勝ち筋があるとしたら、機密性の高いデータの処理かと思います。
また、ローカルLLMでもクラウドのAPIのようにアプリにLLMを組み込めるので、下記に示すような専門ツールとチャットアプリの連携や、大量処理のアプリの構築も可能です。
追記
大企業のDX担当者として、SaaS導入にさいして何がネックとなっているか、現状を書きました。
