生成AIとBlenderを活用したミュージックビデオ制作の挑戦

こんばんは、榊正宗です。

今日はついに公開となりました生成AI（ComfyUI）とBlenderを活用して制作したアニメーションのミュージックビデオについてお話します。この作品は、バンド「バイバイ・ニーチェ」さんの楽曲「一会」のミュージックビデオとして作成したものです。

今日はどの様に作成したかを少しだけご紹介します！

AIアニメーションというと、文字を入力してボタンを押せば自動的に完成品が出てくるというイメージを持たれる方も多いかもしれませんが、実際のところはまだ発展途上で、狙ったとおりの映像をそのまま生成できるわけではありません。将来的にも、完全に思い描いたアニメをボタンひとつで作り出すのは相当ハードルが高いと思います。そこで現実的な方法として、まず3Dで設計図ともいえるレイアウトを作っておき、それをAIで加工して仕上げるアプローチが最適だと考えています。今回の作品も、まさにそうした工夫から生まれた一例になっています。

歌詞から生まれるイメージの創造

まず、楽曲「一会」の歌詞に合わせて、イメージを形にするためにChatGPTを活用しました。このプロセスでは、歌詞からインスピレーションを得てキャラクターをデザイン。男の子と女の子のキャラクターイメージを具体化し、ストーリー性を持たせることで映像に深みを加えました。ChatGPTは歌詞の裏に込められた意味を読み取り、驚くほど豊かなイメージを次々と提案してくれました。これらのイメージが、ビデオコンテ制作の大きな柱となりました。

さらに、バンドメンバーから提供された思い出の写真を基に、AIを活用して風景を加工して作成。歌詞の世界観をビジュアルに落とし込む過程で、生成AIツールが大きな助けとなりました。

AIアニメーション技術の活用

最近のAIアニメーションツールは目覚ましい進化を遂げています。その中でも最新の「Runway GEN-3」を使用し、風景に奥行き感を加える工夫をしました。なお、ベースとなるキャラクターのアニメーションはBlenderで手付けして作成し、ComfyUIを使って手描き風の加工を施しています。

現在のAIアニメーションツールには、安定した動きを完全に再現できるものはまだ存在していません。しかし、カメラワークに関しては実用性が大きく向上しており、今回の制作でも奥に移動するカメラワークを予定以上に活用しました。イラストが奥行きを持ち、3Dのようにズームしていくこの演出は、手描きや通常の3Dでは非常に困難であり、AIを活用したからこそ実現できたものです。まさにAIならではの表現と言えるでしょう。

キャラクター制作では、3Dモデルを手描き風に加工していますが、各フレームでエラーが頻発するため、全フレームをCLIP STUDIO PAINTで手作業で調整し、細部まで丁寧に仕上げました。たとえば、Blenderで作成した3D画像を連番で出力した後、それをAIで手描きアニメ風に加工する際、微細なノイズやエラーが発生することがあります。このノイズは場合によって手描き風の味わいを与えることもありますが、映像全体のバランスを崩すほど目立つエラーになることもあります。こうした修正を的確に行えるのは、私がAIの技術だけでなく、手描きアニメの現場で長年経験を積んできたからです。

このアプローチにより、生成AIの力を活かしつつ、人間らしい繊細なタッチを融合させた作品が完成しました。

今後の展望と公開予定

このミュージックビデオの制作プロセスやノウハウについては、年明けから詳細なメイキング動画として公開していく予定です。誰でもアニメーションが作れるようになるように、これらのノウハウを広く共有していきたいと考えています。

なお、楽曲そのものはAIで作られたものではなく、人間が制作したものです。この作品は、人間とAIが協力して生み出したコラボレーションの一例です。クリエイターが主導し、ツールとしてAIを活用することで、未来の可能性を切り拓く第一歩になればと願っています。

まずは、素晴らしい楽曲と映像が織りなすミュージックビデオ、ぜひ楽しんでいただければ幸いです。応援よろしくお願いします！

最後までご視聴いただき、もし気に入っていただけましたら高評価ボタンを押していただけると、YouTube上で広く拡散される助けになります！応援よろしくお願いします！

これはあまり言いたく無いのですが、現実問題として、最近、AIを使用したアニメーションに対して批判が寄せられることもあります。しかし、当然ですが、この作品は著作権を侵害するような不適切な使用は一切行っていません。（そもそも、多くのAI作品はそういったルールをきちんと守っているのですが）

この作品がAI活用の素晴らしい事例として、より多くの方に良い形で広まっていけばと願っています。ぜひ皆さんの応援をよろしくお願いします！

👆ツイートの拡散も宜しくお願いします！