【簡単❗️楽しい❗️】もう１つのMiniMax H3 「Ref2VA」の使い方❗️

2026年8月28日 12:43

こんにちは！
話題のオープンソースの動画生成AI・MiniMax H3の研究・第二弾です。
今回は「Ref２VA」モデルの使い方を掘り下げました。

前回ご紹介した「FL2VA」モデルは、テキストや画像から一撃で動画を作る基本モデルでしたが、今回はさらにその上を行く、もう一つの真打モデル「Ref2VA（Reference to Video）モデル」の使い方ガイドです。

画像・音声・動画など、最大12個もの参照素材を自在に組み合わせ、自宅PCで異次元の動画合成とクリエイティブ表現を可能にする、この特別なモデルの謎（使い道ｗ）を解き明かします。

Ref2VAモデルはデータ参照によるVRAM負荷が大きいのですが、こちらでも「軽量GGUF ✕ 4STEPターボ」のワークフローがちゃんと機能しました！一般ピープルのPC（VRAM 8GB〜16GB）でも動くはずです。

それでも、このRef2VAモデル、
ほぼプロンプトだけで指示するので操作が簡単です。
そして、結果が正確で楽しいです！
→ しかし、このプロンプトの「書き方」が曲者でした。

※今回も動画内容の手順部分を要約したものです。
（だってNOTEは動画が貼れないのですもの・・・）

動画にはこのモデルによる生成結果などがありますので、お暇なときでもご参照ください。

1. 動画合成の革命児「Ref2VAモデル」で何ができる？

FL2VAとの最大の違いは、「画像最大9枚」「音声最大3つ」「動画最大3つ」の合計12個の素材を同時に読み込ませ、1つの動画に高精度に反映・合成できる点です。

このモデルを使うと、以下（ほんの一例に過ぎません！）のような異次元の動画表現が無料・ローカルで簡単に作れるようになります。
※一方で、マルチモーダルやらオムニやら別種のソースを組み合わせる処理なので、人間の想像力の方が追いつかない、と言う意味でも異次元かもです。

今回試してみたことです。

キャラと背景の高度な統合（フェイススワップ等）:
特定のキャラクターの顔画像（アイデンティティ）などを固定したまま、別人の全身画像や異なる衣装、別のシチュエーション（オフィス、飛行機、ビーチなど）へ違和感なく合成し、同一人物としてのストーリー動画を生成できます。
「声質」だけを参照するアフレコ（ボイスクローン）:
参照用の音声データからセリフ内容ではなく「声質」のみを抽出し、プロンプトで指定した任意の日本語台詞を、完璧な口パク（リップシンク）付きで喋らせることができます。
シーンはそのままで「キャスト（登場人物）の差し替え」:
バーなどの背景や店内での会話シーン（カメラワークや周囲の動きなど）を完全に維持したまま、キャスト（役者）部分だけを差し替えて、同じ会話やお芝居を続けることができます。
動画参照によるダンスモーションのコピー:
元の動画素材からダンサーの「振り付け（モーション）」だけを取り出し、赤ちゃんやイラストなど、別キャラクターに移植して踊らせることができます。
音源参照で画像キャラクターを歌わせる:
ラップや楽曲の音源（音声）とキャラクター画像を読み込ませ、その音楽ビートに同期したリップシンクで画像を歌わせることができます。
複数キャストによるシナリオ通りのドラマお芝居:
複数のキャラクター画像と背景画像（空母デッキ、オフィスなど）を配置し、それぞれに割り当てたセリフの感情、表情で本格的なお芝居（掛け合いドラマ）をさせることが可能です。

→　文字で説明されても分かりづらいですよね笑

2. 僕らのPCで動かすための「低VRAM」ワークフロー

Ref2VAモデルは、参照素材を多数ロードする関係上、本来は非常に多くのVRAMを必要とします。そこで、一般向けのGPU環境（VRAM 8GB〜12GBなど）でも快適に動作させるために、以下の「低VRAM爆速ハック」をワークフローに取り入れました。

軽量GGUF版モデル:
画質をしっかり維持したまま、モデル容量とGPU負担を極限まで抑えたGGUF形式（Q4_0）を使用します。
テキストエンコーダーの分割化:
プロンプトを解析するための巨大なエンコーダーを、本体用「Q4_K_M」と画像参照用「mmproj-F16」の2つに分割し、メモリパンクを防ぎます。
4STEP・爆速Ref2VA専用ターボLoRA:
通常は20ステップ以上かかるサンプリング処理を、（Ref2VA）専用のターボLoRAによって、4〜8ステップで高速生成します。

3. ワークフロー、モデル、ノードのダウンロード先一覧

先にリンク先などをまとめて記載します。

セットアップには、以下の「6つのモデルファイル」と「6つのカスタムノード」を準備します。

※すでに、FL2VAを使っている場合は、Ref2VA本体とTurbo LoRAを除いて共通で利用できます。

----------------------------------------

📥 1. ワークフロー置き場

--------------------------------------------------

https://drive.google.com/drive/folders/1XSs1MsYFhMihbQ_OKg45cxAm5C0V0I_l?usp=sharing

・Ref2VA ワークフロー✕２（MediaLoader 有/無）

--------------------------------------------------------------------------------

📥 2. Ref2VA用軽量爆速ワークフローに必要なモデル＆ノードのDL先URL

--------------------------------------------------------------------------------

・カスタムノード（git clone）

=== Ref2VA モデル用 ===
①ComfyUI-Fantastic-MiniMaxH3-PromptBuilder【▶Media Loader】:
https://github.com/Adudeguyman/ComfyUI-Fantastic-MiniMaxH3-PromptBuilder.git

②ComfyUI-KJNodes【▶Model Preview Override】：
https://github.com/kijai/ComfyUI-KJNodes.git

=== FL2VA モデルと共通 ===
①ComfyUI-MiniMax-H3-Turbo： https://github.com/Larryvrh/ComfyUI-MiniMax-H3-Turbo.git

②ComfyUI-H3-Multishot： https://github.com/jlucasmcrell/ComfyUI-H3-Multishot.git

③ComfyUI-GGUF： https://github.com/city96/ComfyUI-GGUF.git

④ComfyUI-VideoHelperSuite： https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite.git ----------------------------------------------------------

・モデル(ダウンロード)

■ 本体モデル(Ref2VA)
★①minimax-h3-ref2va-Q4_0.gguf
https://huggingface.co/molbal/MiniMax-H3-GGUF/resolve/main/minimax-h3-ref2va-Q4_0.gguf

■ LoRA（MiniMax-H3 Turbo for Ref2VA） ★①minimax_h3_ref2v_turbo_4step_v0.1_comfyui_bf16.safetensors https://huggingface.co/lightx2v/Minimax-h3-Turbo/resolve/main/minimax_h3_ref2v_turbo_4step_v0.1_comfyui_bf16.safetensors

=== FL2VA モデルと共通 ===

■ テキストエンコーダー

①MiniMax-H3-encoder-Q4_K_M.gguf
https://huggingface.co/joeygambino/MiniMax-H3-encoder-GGUF/resolve/main/MiniMax-H3-encoder-Q4_K_M.gguf

②MiniMax-H3-encoder-mmproj-F16.gguf https://huggingface.co/joeygambino/MiniMax-H3-encoder-GGUF/resolve/main/MiniMax-H3-encoder-mmproj-F16.gguf

■ VAE
①minimax_h3_audio_vae_fp32.safetensors
https://huggingface.co/Comfy-Org/MiniMax-H3/resolve/main/vae/minimax_h3_audio_vae_fp32.safetensors
②minimax_h3_video_vae_fp16.safetensors
https://huggingface.co/Comfy-Org/MiniMax-H3/resolve/main/vae/minimax_h3_video_vae_fp16.safetensors

--------------------------------------------------------------------------------

🔗Google Colab用起動コード(Ref2VA) リンクURL

--------------------------------------------------------------------------------
https://colab.research.google.com/drive/1O-5sCB1gIz1jlYbw-3ebLby2T-vaHX5J#scrollTo=HJoIeaZ6ciPL&line=10&uniqifier=1

------------------------------------------------------------------------

無料APP 【MiniMax H3 プロンプトメーカー】

-----------------------------------------------------------------------
https://minimaxh3-ref2va-prompt-generator-6t7yctrtghveq2xr6xqrtn.streamlit.app/

※Gemini APIキー（無料枠OK）が必要

------------------------------------------------------------------------

# 無料枠のGemini APIキー取得先：

https://aistudio.google.com/app/apikey

- APIキーの取得手順:
1. 上記 URL にアクセスし、Google アカウントでログイン。
2. 利用規約に同意する。
3. 「Get API key」（または「APIキーを作成」）をクリック。
4. 新規プロジェクト（または既存プロジェクト）を選択してキーを発行・そのキーをコピー＆ペースト。

--------------------------------------------------------------------------
【関連動画】
MiniMax H3（FL2VAモデル）最強動画AIのスタートキット❗️
https://youtu.be/U5W9ryIEgAQ
--------------------------------------------------------------------------

4. 失敗しない！完走するための「初回テスト設定」＆便利ノード

解説の続きです。

複数の画像や動画などのリファレンスを読み込ませるRef2VAモデルは、通常のT2Vに比べてVRAM使用量が上昇します。また、生成前に参照データを解析（エンコード）するための処理時間が追加されます。

長～い時間待たされて、あげくにドタキャン（OOM）を喰らわないよう、対策として、以下の設定に注意しましょう。

初回テスト解像度:
まずは最も軽い 0.2Mpx（例：608px ✕ 352pxなど）で動作＆生成テストを行い、動きやリップシンクに問題がないことを確認してから本番の高解像度出力に進みましょう。
動画の長さ（Duration）:
最初は 5秒くらいの生成をおすすめします。
ステップ数（ターボLoRA）:
４STEPだと結果出力は速いのですけどだいぶ精度が落ちる気がします。
「6ステップ以上」だと画質と音声のリップシンク精度が格段に向上します。

💡 Ref2VAのワークフローに超おすすめのノード！

「Media Loader」✕「Reference Splitter」:
通常、最大12個の参照用スロットを手動で配線すると、ComfyUIのキャンバスがケーブルだらけ（最大15個以上のノードが必要）になってしまいます。
Media Loader ノードを使用すれば、ドラッグ＆ドロップで画像・動画・音声をひとまとめにアップロードでき、Reference Splitter ノードを経由してスッキリスマートにRef2VAモデルへ渡すことができます！
「Live Preview（ライブプレビュー）」ノード:
生成途中のノイズ除去状態をチェックできるノードです。これをサンプラー部分に追加しておくことで、1フレーム目の表情や初期構図に失敗している場合、完了を待たずに途中でサンプリングをキャンセルして即やり直しができるため、生成時間のロスを大幅に削減できます！

5. 苦行の手書き不要！「無料AIプロンプトメーカー」をつくりました。

MiniMax H3、特にRef2VAモデルの最大の難関は「公式仕様の特殊なプロンプト構文」です。

公式がエージェント用のskillを配布してます。。。https://github.com/MiniMax-AI/MiniMax-H3/tree/main/skills

つまり、手書きで subject_definitions、summary、retention_analysis などの参照タグ定義やショット割り、リップシンク設定を「ルール通りに」記述するのは、
（しっかりドキュメントを読み込めば、ムリとはいいませんが）
ぶっちゃけハードルが激高です😂

そこで、日本語でやりたい演出のイメージを入力すれば、H3公式規格に基づく英語プロンプトを自動生成するWebアプリをつくりました！

Appはコチラです！（再掲）

👉 【MiniMax H3 プロンプトメーカー（Streamlit版）】

[MiniMax H3 プロンプトメーカー]

※コードはコチラです。

無料APIを使いたかったので、裏側はAPI GeminiにSkillと公式Docを与えてStreamli上のappで動かしてます。

使い方:
1. 上記のURLへアクセス。[360]
2. Google AI Studio から無料枠の Gemini APIキー を取得して入力。[360]
3. モデル選択で「Ref2VA」を選択し、使用したい画像や音声ファイルをアップロードして指示を書きます。[315]
4. ざっくりとしたストーリーやセリフ、秒数を日本語で書くだけで、AI（Gemini）が不足した描写を補完し、公式基準の6セクション構造に準じた完璧な英語プロンプト＆日本語訳を出力してくれます！[315, 316]
5. あとは、出力された英語プロンプトをクリップボードにコピーし、ComfyUIの CLIP Text Encode ノードに貼り付けるだけでOKです！[316]

6. ローカルが厳しくても大丈夫！「Google Colab」でいいじゃん！

「どうしても自分のPCスペックではVRAMが足りなくて動かない」「途中でパソコンが固まる」という方（僕がそうです、Colabです）も、諦める必要はありません！

クラウドのGPU（L4 GPU推奨）を使って、ボタンを押して接続すれば、セットアップから動画生成まで一気に実行できるGoogle Colab用ノートブックをシェアします。

👉 【Google Colab用 Ref2VA起動ノートブック】
MiniMax H3 Ref2VA_GGUF_4Steps-Turbo_SageAttention Workflow_260827.ipynb

※モデルのダウンロード容量が非常に大きいため、初回起動完了まで約15分以上かかることもありますが、起動後は快適にRef2VAモデルを使えます。

7. 🎁 配布ファイル置き場（ワークフロー等一式）

今回使用している、Ref2VAをすぐに試すための最適化ワークフローファイルは、すべて以下のGoogleドライブのファイル置き場にあります。よろしければご利用下さい。

👉 【第19回配布ファイル置き場：Googleドライブ】

内容:
- Ref2VA ワークフロー（MediaLoader 有り版）（最も配線がスッキリして管理しやすい推奨版）
- Ref2VA ワークフロー（MediaLoader 無し版）（標準ノードのみで動作させたい方向け）

以上です。

ということで、
ぜひ、Ref2VAの異次元のAI動画合成の世界に行ってみてください！おもしろい、新しい、表現が生まれるといいですね。

元動画

Ref2VAモデル

FL2VAモデル