【PR】Pollo Agentだけで曲に合わせたMVは作れる？｜「ん？」を直しながら2回作ってみた🤣
※本記事はPollo AI様よりご依頼をいただき、提供されたクレジットを使用して制作しています。今回は、Pollo AIの
Pollo Agentに曲を渡して、1本のMVをどこまで作れるのか？
を試してみました。
作りたかったのは、ただ映像を並べるMVではありません。
キャラクターも、文字も、カメラも、
曲のリズムや歌詞に合わせて動く、キャラクターMV。
約73秒の曲を使って、外部の画像・動画生成AIは使わず、Pollo AI内で完成まで進めます。
結果から言うと...
一度完成して、最初から全部やり直しました🤣
しかも2回目も、
「ん？音源いつ使うの？」
「ん？長くない？」
と、何度か止まることに。
今回は成功したところだけではなく、その辺りも含めて紹介します。
Pollo Agentって何をしてくれるの？
今回、タクが用意したのは、
楽曲、歌詞、主人公やMVの方向性。
2回目の制作では、歌詞のタイミングを正確に伝えるためのSRTも用意しました。
そこからAgentに、
曲の分析、構成案、クレジット見積もり、主人公やシーン画像の生成、動画生成、結合、歌詞タイポまで進めてもらいました。
つまり、
タクが「何を作りたいか」を決めて、Agentが形にしていく。
そんな進め方です。
【図①｜Pollo AgentでMVを作る流れ】
SRTって何？
今回かなり役立ったのが、
SRT
です。
簡単に言うと、
歌詞＋その歌詞を歌っている時間
が入ったファイル。
たとえば、
00:00:00,800 --> 00:00:01,300
ななつなら、
「ななつ」を0.8秒から1.3秒まで歌っている、
という意味です。
【図②｜SRTって何？】
SRTが絶対に必要というわけではありません。
1回目は普通の歌詞を渡して、Agentに音源からタイミングを取ってもらいました。
ただ今回の曲は、短い言葉や繰り返しも多く、自動認識だけではズレるところがありました。そこで途中から、タクが確認したSRTを使っています。
なので2回目は、
最初から楽曲＋正確なSRT
で始めました。
まずは、作る前に見積もり
今回は、いきなり生成させません。
Agentに、
まだ生成しないでください。
先に画像枚数、動画本数、モデル、秒数、クレジットを出してください。
とお願いしました。
実際にAgentから複数の制作案と見積もりが出て、内容を確認してから制作を始めています。
生成前に、使用モデル・動画本数・必要クレジットを確認。
まず1回目
タクが主人公の方向性を伝え、Agentがリファレンス画像と各シーン、動画を生成。
10本の動画を使って、約73秒のMVまで完成しました。
【動画①｜1回目完成版】編集無し
1回目の完成版。約73秒／16:9。515crで完成しました。
実際の使用量は、
515cr。
かなり効率よく完成しています。
でも...
「んー...今回ほしかった動きとは少し違うな」
となりました。
完成した。でも、もう少しキレがほしい
1回目は、滑らかに動くシーンが多め。
今回タクが狙っていたのは、
カクッ → 少し止める → 次の拍でキメる
ような動きでした。
サビだけではなく、曲の最初から最後までリズムを感じるMVにしたい。
完成動画を見て、そこをもっと具体的にしたくなりました。
なので...
最初からもう一度作ります🤣
【図③｜1回目と2回目の違い】
2回目は、狙いをもっと具体的に
2回目は、
「もっと曲のリズムを感じるMVにしたい」
だけではなく、どう動いてほしいかまで伝えました。
動きは、
カクッ → ホールド → 次の拍でキメる。
さらに歌詞に合わせて、期待、迷い、嫉妬、強がりなど、主人公の感情も変えるように指定。
たとえば、
「近づかないで」では拒絶。
「離れないで」では逆に引き止める。
歌詞のない間奏も、楽器やビートに合わせて動かします。
順調そう...だったのですが🤣
Agentが主人公を作る。
シーン画像を作る。
動画もどんどん生成される。
「お、今回はいい感じかも」
と思いながら見ていたんですが...
途中で、
「ん？」
となります。
ん？音源はいつ使うの？
今回やりたいのは、
曲を参照しながら、リズムに合った動きを作ること。
でも確認すると、
先にimage2videoで動画を作って、
あとから音源を載せる
流れになっていました。
タク、
「あれ？これ、曲を聞かずに動画作ってない？🤣」
確認すると、本来は音源も参照できるref2videoで進めるべきでした。Agent側も方法を見直し、音源を参照する形へ変更しています。
ただ、その時には...
22本生成済み🤣
もっと早く気づけばよかったーーー！w
ということで、ここは作り直しになりました。
【図④｜「ん？」と気づいたポイント】
そのあとも「ん？」が続く🤣
音源を参照する方法へ変えて、
「今度こそ」
と思ったら...
一部の動画が必要な長さより短い。
「ん？H3ってもっと長く作れなかった？」
と確認して、3本を再生成。
さらに動画をつないだら、
約95秒。
曲は約73秒。
「ん？長くない？🤣」
実際、最初のアセンブリでは95.08秒になり、曲の尺に合わせる工程をやり直しています。
ほかにも、
タイポを動画結合前に入れていたり、
短い動画をループしていたり、
縦画面から文字がはみ出したり。
制作中に何度か、
「ちょっと待って🤣」
が入りました。
最終的には完成
その都度確認しながら、
動画の尺を調整。
全部つなぐ。
楽曲を合わせる。
最後に歌詞タイポ。
という順番へ修正。
【動画②｜2回目完成版】編集無し
2回目の完成版。約73秒／9:16。動き・感情・音源の使い方まで具体的にして作り直しました。
最終的には、
約73秒／9:16／動画20本／歌詞全34フレーズ
のMVになりました。
使用モデルは、
MiniMax H3 768P。
実際に2本を見比べると、2回目は全身ポーズや表情、構図の切り替えが増えて、今回狙っていた方向にはかなり近づきました。
スマホはちょっと向きがおかしいですが…
※今回試した範囲では、音源を参照すれば自動でビート単位まで完全に同期する、というわけではありませんでした。
クレジットを比べてみる
【図⑤｜クレジット比較】
2回目で実際に使用したのは、
1,397cr。
この中には、途中の再生成分も含まれています。
同じ内容を最初から正しい工程で進めた場合の目安は、
約770cr。
そして今回、
Agent側の判断ミスによって追加発生した再生成分は630cr
でした。
内訳は、
555cr：音源参照方法の判断ミスで22本を再生成
75cr：生成可能尺の認識違いで3本を再生成
です。
ここはタクが、
「やっぱり別の表現にしよう」
と変更した分ではありません。
事前に仕様を確認していれば防げた部分です。
Agentに任せる。でも、丸投げはしない
今回、一番感じたのはこれでした。
Pollo Agentは、
構成を考えて、
画像を作って、
動画を作って、
かなり多くの工程を進めてくれます。
でも、
AIだから毎回完璧というわけではありません。
今回もタクが途中で、
「ん？」
と気づかなければ、そのまま進んでいたところがありました。
しかも最初の大きな「ん？」に気づいた時には...
22本できてました🤣
なので次に作るなら、
生成前だけではなく、
生成中もちょこちょこ見る。
「今どんな方法で作ってる？」
「このままで目的に合ってる？」
と確認する。
これ、大事だと思います。
【図⑥｜制作前チェック】
Agentに任せる。でも、丸投げはしない。
今回の一番の学びは、これかもしれません。
Pollo AgentだけでMVは作れた？
作れました。
タクが作りたい方向を伝えて、
Agentが主人公やシーン画像を生成。
そこから動画を作って、つないで、歌詞タイポまで入れて、
最後に1本のMVまで完成しました。
ただ今回は、
1回目で、
「なんか違う」
2回目では、
「ん？音源使ってない？」
「ん？長くない？」
「もっと早く気づけばよかったーーー！w」
と、いろいろありました🤣
でも、その分、
どこまでAgentに任せられるのか。
どこを人が確認した方がいいのか。
どうすれば再生成を減らせるのか。
かなり分かりました。
タクとしては、
Pollo Agentは、
「全部勝手に完成させてくれるAI」
というより、
「相談しながら一緒に作る相手」
という印象です。
うまくいったところも。
「ん？」となったところも。
全部含めて、今回の検証。
これからPollo AgentでMVを作ってみたい方の参考になれば嬉しいです🎵
MiniMax H3のキャンペーンも
今回使用したMiniMax H3では、以下のキャンペーンも案内されています。
2,000クレジット超のProプラン
月額・年額を問わず、10日間の無制限利用
Ultraプラン
月額・年額を問わず、365日間の無制限利用
たくさん生成して試したい方には、かなり気になる内容ですね。
※キャンペーン内容や適用条件は変更される場合があります。利用時に最新情報をご確認ください。
PolloAIのXも是非フォローを😊
PolloAIはXでクレジットがもらえるイベントもしています✨
時には賞金がでることも🎵
