MiniMax H3のリップシンクを試してみた！Pollo AI×Claude CodeでMV制作
こんにちは、Makariです。
最近、MiniMax H3を使っていて気になっていたのが、
「リップシンクって、実際どのくらい自然なんだろう？」
ということ。
でも、実際にMVを作って試そうとしたら、
曲を分割して動画を何本も作り、最後に編集する必要があることがわかり、やる気をなくしてしましました…😑
そんなときに知ったのが、Pollo AIをClaude CodeとMCP連携すると、動画生成から編集までまとめてお願いできるということ💡
実際に試してみたら、AIエージェントを使うことで動画制作の手間もかなり減らせました✨
そこで今回は、実際にリップシンクを使ったMVを作った流れと、仕上がりについて感じたことをまとめてみました🕊
「手軽にMVを作ってみたい！」
そんな方の少しでも参考になれば嬉しいです。
▼ 出来上がった動画がこちら
※この記事はPollo AIのプロモーションを含みます（PR)
MVを作った手順
今回、MVを作った手順は以下のとおりです。
① 音楽と画像素材を準備
② Pollo AIとClaude CodeをMCP連携
③ Claude CodeからMiniMax H3で動画生成
④ Claude Codeで動画編集
早速みていきましょう！
‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥
① 音楽と画像素材を準備
まずは、MVに使う音楽と画像素材を用意しました💡
音楽は、Sunoで作った「おばけの夜更かし」を使用します。
▼ 使用した楽曲
画像は、まずMidjourneyで曲の雰囲気に合う女の子とおばけのイラストを作成。
その画像をもとに、ChatGPTで歌詞に合わせたシーンを複数作りました。
▼ 今回使った画像素材
歌詞ごとに画像を用意しておくことで、動画にしたときにもストーリーをつなげやすくなります◎
② Pollo AIをClaude CodeとMCP連携
素材は揃ったものの、約1分のMVを作るには、
歌詞に合わせて動画を分割
→ それぞれ動画生成
→ リップシンク
→ 動画をつなげる
→ 音楽と合わせる
と、なかなか作業が多そうです😂
そこで使ってみたのが、Pollo AIのMCP連携。
今回はClaudeと連携し、Claude Codeから動画制作をお願いしてみました💡
🔸 MCP連携の手順
まずPollo AIを開き、左側メニューの「MCP」をクリックします。
ChatGPTやClaudeと連携できるようになっています。
今回はClaudeを使いました。
「カスタムコネクタを追加」をクリック。
「続ける」をクリックします。
続いて「追加」をクリック。
「連携/連携させる」をクリックします。
最後に「接続する」をクリックします。
これで連携は完了です✨
Claude CodeからPollo AIを使った動画生成をお願いできるようになりました。
③ Claude CodeからMiniMax H3で動画生成
準備ができたので、いよいよ動画生成をしてMVを作っていきます。
Claude Codeに、
・Sunoで作った楽曲
・6枚の画像素材
を添付し、作りたいMVの内容をプロンプトで伝えます。
今回は、
・MiniMax H3を使う
・歌唱部分ではリップシンクを使う
・歌詞に合わせてシーンを分割する
・元画像のキャラクターデザインを維持する
といった内容を指定しました。
また、動画をいきなり生成せず、
先に制作プランと必要クレジット数を提示し、OKを出してから生成する
ようにしています💡
▼ 実際に使ったプロンプト
Pollo AI MCPを使って、添付した楽曲「おばけの夜更かし」の冒頭約1分（0〜62秒）のMVを制作したいです。
使用する動画生成モデルはMiniMax H3です。
添付資料は、楽曲ファイル「おばけの夜更かし」とシーン画像6枚です。
基準画像の女の子の顔・髪型・衣装、緑色のおばけのデザイン、夜の青〜紫を基調とした配色、部屋やベッドの雰囲気、イラスト全体の絵柄や世界観をできるだけ維持してください。
別人のような顔への変化、衣装変更、キャラクターデザインの変更、不要な人物やオブジェクトの追加は避けてください。
動画生成には、Pollo AI MCPの「リファレンスから動画へ（Reference to Video）」を使用してください。
歌唱部分には、元の楽曲の歌声に合わせて、女の子が実際に歌っているように自然に口元を動かしてください。
リップシンクに加えて、自然なまばたき、小さな視線移動、首や上半身のわずかな動き、歌詞に合わせた表情変化を加えてください。ただし、キャラクターの動きを大きくしすぎず、元画像の顔やデザインが崩れないことを優先してください。
動画は、以下の楽曲の歌詞・フレーズの区切りに合わせて制作してください。
① 0〜9秒｜Intro
使用画像：画像1
眠っている女の子のシーンです。女の子が静かに眠り、呼吸に合わせて布団がわずかに上下する、髪やカーテンがほんの少し揺れるなど、静かな夜を感じさせる自然なアニメーションにしてください。カメラは女の子へゆっくり寄る程度の小さな動きにしてください。
このシーンではリップシンクは使用しません。
② 9〜16秒
「まくらの下 ひそむ足音
しらん顔して しっぽを揺らす」
使用画像：画像2
女の子が布団の中で何かの気配に気づいているシーンにしてください。不安そうに目を動かしたり、小さくまばたきをしたり、わずかに首を動かしたりして、何かがいるような気配を感じさせてください。怖すぎる雰囲気にはせず、かわいらしい夜の物語として表現してください。
このシーンでは元楽曲に合わせてリップシンクを使用してください。
③ 16〜24秒
「電気をけして目をとじたのに
ドアのむこうでだれかが笑う」
使用画像：画像3
女の子がベッドに入り、おばけが後ろからこっそり覗いているシーンです。歌詞では「ドアのむこう」とありますが、基準画像の構図を優先してください。
おばけがベッドの後ろからそっと顔を出したり、ふわふわと小さく揺れたりし、女の子がその気配に気づくような動きを加えてください。
女の子の歌唱部分にはリップシンクを使用してください。
④ 25〜32秒
「こわいのに見えない
もう少しだけ起きていたい」
使用画像：画像4
布団を握りながら少し怖がっている女の子のアップです。目を左右に動かしたり、小さくまばたきしたり、布団を握るなど、怖いけれど気になって眠れない様子を表現してください。
女の子の歌唱部分にはリップシンクを使用してください。
基準画像では口元が布団に近いため、そのままでは自然なリップシンクが難しい場合は、元画像の雰囲気や構図を大きく変えず、口元が自然に見える程度の調整方法を事前に提案してください。
⑤ 32〜47秒
「おばけの夜更かし おばけの夜更かし
まだ帰らないで 朝まであそぼう」
使用画像：画像5
女の子とおばけが向き合っているシーンです。サビに合わせて、それまでより少し明るく楽しい雰囲気にしてください。
女の子が楽しそうに歌い、おばけがふわふわと小さく上下したり、女の子の歌に反応したりする自然な動きを加えてください。
女の子には元楽曲に合わせたリップシンクを使用してください。
⑥ 47〜62秒
「おばけの夜更かし おばけの夜更かし
こわいふりして本当にはさみしい」
使用画像：画像6
女の子と少し寂しそうなおばけが向き合うシーンです。
女の子が歌い、おばけがゆっくり浮かびながら、「本当にはさみしい」の部分では少しうつむいたり、寂しそうな表情を見せたりしてください。女の子もおばけを見て、少しずつ表情がやわらかくなるようにしてください。
女の子の歌唱部分には元楽曲に合わせたリップシンクを使用してください。
上記①〜⑥を基本のシーン構成としますが、MiniMax H3の1回あたりの最大生成時間などの仕様上、1シーンをそのまま生成できない場合は、歌詞やフレーズの途中で不自然に切れない位置でさらに分割してください。
たとえば、
「おばけの夜更かし おばけの夜更かし」
と
「まだ帰らないで 朝まであそぼう」
のように、歌詞のまとまりに合わせて分割してください。
③が16〜24秒、④が25〜32秒となっているため、24〜25秒の約1秒については、元楽曲を確認したうえで、③の映像を自然に延長する、④への短いトランジションにする、前後どちらかの映像を保持するなど、音楽に合う方法を提案してください。
最終MVでは、添付した元の楽曲「おばけの夜更かし」をマスター音源として使用します。
MiniMax H3側の自動生成音声は、無効にできる場合は無効にしてください。無効にできない場合も、最終MVでは使用せず、元楽曲を使用してください。
リップシンクについても、可能な限り添付した元楽曲の実際の歌唱音声を使用して同期してください。
また、口元が隠れている、横顔になっている、キャラクターが小さいなどの理由でリップシンクの精度が低下する可能性があるシーンについては、生成前にその旨を教えてください。リップシンクが難しいという理由だけで、自動的にリップシンクを省略しないでください。
まずは動画生成を開始せず、以下の内容を制作プランとして提示してください。
・何秒〜何秒を1本の動画として生成するか
・各動画に対応する歌詞
・使用する基準画像
・各動画の具体的な映像内容やキャラクターの動き
・リップシンクの有無
・各画像でのリップシンクの適性
・使用するPollo AI MCPの機能
・使用モデル
・生成予定の動画本数
・1本ごとの動画生成に必要なクレジット数
・合計で必要なクレジット数
・MiniMax H3の仕様によって追加分割が必要か、その理由
クレジット数については推測せず、Pollo AI MCP上で現在利用できる機能や消費クレジットを確認したうえで計算してください。
私が制作プランと必要クレジット数を確認して、生成開始を明確に指示するまでは、動画生成、リップシンク、その他クレジットを消費する処理を実行しないでください。
🔸 まずは制作プランを考えてくれた
プロンプトを送ると、すぐに動画生成が始まるのではなく、まずは添付した音楽や画像を確認。
そのうえで、
「この部分は○秒ずつに分けます」
「この画像はリップシンクしやすそうです」
「このシーンは追加で分割します」
といった制作プランを考えてくれました✨
今回、動画生成に必要なクレジットは合計620クレジットとのこと。
さらに、生成前に確認しておきたいことも聞いてくれました。
内容を確認して、問題なさそうだったのでOKを出します。
すると、Pollo AIを使った動画生成がスタートしました💡
ここからは、基本的にClaude Code側にお任せです。
🔸 うまくいかなかった動画も再生成
動画生成が完了したら教えてくれると言っていたのですが、なかなか返事がなかったので、
「できた？」と催促（笑）
確認してもらうと、4枚目の画像を使った動画がうまく生成できなかったようです。
そこで、そのシーンだけプロンプトを調整して再生成してもらいました。
「4枚目の動画、プロンプトを調整して再生成できる？」
という感じで、そのまま会話しながら修正をお願いできるのはかなりラクでした◎
④ Claude Codeで動画編集
すべての動画が完成したところで、
そのまま1本のMVにできるか聞いてみました。
▼ 実際に送った文章
全部の動画を繋ぎ合わせる→音楽と組み合わせるで1本の動画にできる？
音楽は途切れないように工夫してほしい
かなりざっくりしたお願いです😐
すると、生成した動画を順番につなぎ合わせ、元の楽曲と組み合わせて1本の動画にまとめてくれました✨
すごい……。
これまで動画を1本ずつ保存して、編集ソフトに入れて、音楽に合わせて調整していたので、
「今まで自分でやっていた作業はなんだったんだ…」
という気持ちになりました🥺
細かく仕上げたい場合は最後に自分で調整した方がよさそうですが、まず1本の動画にまとめてもらえるだけでもかなりラクです。
MiniMax H3のリップシンク精度は？
完成した動画がこちらです💡
今回の動画では、リップシンクがかなり自然に感じられました😊
歌声に合わせて口元が動いていて、イラストの女の子が実際に歌っているように見えました✨
今回一番確認したかった部分なので、仕上がりにはかなり満足です◎
ただし、MVとしては単調かも
一方で、動画全体を見ると、
「かなり単調…😦」と感じました。
今回はリップシンクを優先して、
・顔やデザインを崩さない
・動きを大きくしすぎない
・自然に歌わせる
といった指定を多めに入れています。
そのため、女の子が歌っているシーンが中心になり、MVとしては動きが少なめになりました。
リップシンクの精度はかなり良さそう。
でも、MVらしく仕上げるにはプロンプトの工夫が必要。
というのが今回の感想です💡
プロンプトにカメラワークやキャラクターの動き、歌っていない部分の演出なども指定すると、もう少しメリハリが出そうです✨
AIエージェントを使うとかなり時短になる
今回特に便利だったのが、AIエージェントを使った動画制作でした。
これまでは、
動画を1本ずつ生成
→ ダウンロード
→ 次の動画を生成
→ 最後に編集
という作業を自分で繰り返していました。
今回は、複数の動画生成から再生成、最後の動画編集まで、Claude Codeからまとめてお願いできました。
ツールを何度も行き来する必要が減るだけでも、かなり時短になります。
AIで動画を作るだけでなく、動画制作の作業そのものもAIに任せられるようになってきたのを感じました✨
さいごに
今回は、Pollo AIをClaude CodeとMCP連携し、MiniMax H3のリップシンクを使ったMVを作ってみました。
リップシンクについては、想像していたよりかなり自然✨
さらに、動画生成から編集までAIエージェントにお願いできたことで、制作の手間もかなり減らせました。
ただし今回はリップシンクを重視した分、MV全体としては単調な仕上がりに。
次はカメラワークや動きの指定も増やしながら、もう少しMVらしい動画にも挑戦してみたいと思います💪
「AIでリップシンク動画を作ってみたい」
「AIエージェントを使った動画制作が気になる」
という方は、Pollo AIのMCP連携を試してみてはいかがでしょうか😊
最後までご覧いただき、ありがとうございました🌿
▶︎ Pollo AIはこちら
Pollo AI関連動画
▼ Pollo AIのログイン方法や基本的な使い方
▼ MiniMax H3でショートアニメを作る方法
▼ Pollo AIならSeedance 2.5も使える💡
