【パワー系生成AI】AIでバンド演奏シーン【力技】

公開後追記：本記事の方法はもはや過去の遺物と思われます。現時点(2025年8月以降)の環境ではnanobananaやSeedanceを活用しましょう。

こんにちは！

球体関節人類という自作のAIバンドで日々生成AIを嗜んでいる者です。
先日念願のバンドメンバー4人全員演奏シーンを含んだMVをつくりまして、かなりの力技だったんですが流れを記事に残しておこうと思います。
但し、この記事では各AIサービスの基本的な使い方自体の説明は省略したいと思います(記事の軸がブレちゃうので)。

とりあえずMVはこんな感じ

該当MVは以下です。
バンドメンバー全員が同時に画角に収まるのは2:42以降のラスサビシーンです。
私が生成しているのは完全な2Dアニメではなく3D寄りであることにご留意ください。

使用ツール

使用したツールは以下です。
・画像生成：midjourney
・画像加工：Canva
・動画生成：Kling
・動画編集：Filmora

工程概略

ざっくり大まかに工程を述べると以下です(括弧内は使用ツール)。

① 適当なキャラ造形でバンド演奏シーン画像を生成する (midjourney)
② 生成画像の人物角度に合うように自キャラをコラージュする (Canva)
③ コラージュ画像の繋ぎ目を自然な感じに均す (midjourney)
④ 完成画像を動かして、編集でどうにかなりそうな動画を選定 (Kling)
⑤ 編集でイイ感じにする (Filmora)

ChatGPTなどによる同一4キャラ合成画像や、ViduのMy Reference機能やKlingのElements及びMulti-elements機能も試しましたが、私の腕がダメダメなのか思うようにいかなかったので物凄く遠回りになりました。

もっとスマートなやり方がきっとあると思うので是非教えてください。

①構図元画像生成

私は絵が描けません。
よってパースが整った4人組バンド画像をmidjourneyで生成してもらいました(英文は投入プロンプト)。

a 4-piece band. A city strung with a ton of red ropes. in blue-lit cyber space

MVの登場人物とは全然まだまだ違う人たちですね。
せめてもの抵抗として、midjourneyのcref機能(キャラ画像参照機能)を併用した修正で雰囲気だけでも合わせておきます。

まだMVには使えません。

②バンドキャラ画像コラージュ

別途生成した手元のキャラ画像から、角度が合いそうなものをCanvaでコラっていきます。
画像編集さえできればCanvaじゃなくても良いです。

いやぁ、本当に形になるのか不安な途中経過。
でも大丈夫です。

③コラージュの繋ぎ目を均す

コラージュの繋ぎ目をmidjourneyにうまい事やってもらいます。
Edit画面で出てくる2つの選択肢のうち、下側の「Edit Uploaded image」から先ほどの加工画像をアップしましょう。

そしたらcref(下図の上部にあるちっこい画像)で本来のキャラ画像を参照させて画像を修正します。
変えたいところを灰色に塗り塗りします。
このあたりはmidjourneyそのものの使い方なので省略しますが、自然にしたいところを消しましょう。

第一段階が以下です

ほんの僅かですが光が見えてきましたね。
細かい修正を加えつつ、1キャラずつcrefで修正していったのが以下です。

それなりに整ったパースを保ったまま4キャラが共存できました。ボーカルの顔色が若干浮いてますが、動画生成と編集の過程でどうにかなります。

④動画生成AIにブッ込む

出来上がった画像を動画生成AIで動かしましょう。
私は2Dアニメではなく3D寄りということもあって、専らKlingを使用しています。

ということで例えば以下はKling ver1.6による例。
ラスサビ導入部分で採用したクリップです(英文は投入プロンプト)。

High quality real 3D render. the camera zooms out. the four-piece rock band plays like a rock band music video. in dimly blue cyber digital space

次はKling ver2.0の例。
ラスサビ最後に採用したクリップです。
プロンプトからわかるとおり、ヘドバンはKlingのアドリブでした(英文は投入プロンプト)。

High quality real 3D render. the four-piece rock band plays in dimly blue cyber digital space.

こんな感じで、必要数に達するまで何回か動画生成していきます。
個別でみるとなんてことない動画達なので編集でどうにかしましょう。
言い換えると「編集でどうにかなりそうな動画を見極めましょう」というところでしょうか。

⑤編集でどうにかする

編集こそ決まった手順が無いのでアレですが、一応以下が私のFilmora画面です。
先ほど2本ピックアップした生成動画のうち、後者(ラスサビ後のヘドバンのシーン)の部分です。

3つあるアイテムのうち一番下の緑色が動画素材本体で、上に乗っかってる黄色いのがエフェクトです。
エフェクトにシェイクなんちゃらみたいな名前がついてますが、要は画面を点滅させたり振動させるエフェクトで映像に動きを出してるって感じです。
(ぶっちゃけ言うとそれだけっちゃだけです……)

まとめ

以上、パワー系ゴリ押し動画生成でした。
私が使い方を把握してる範囲が狭いだけで、どこかに近道があるんじゃないかと思いたいです。
ほんと是非教えてください(切実)。