漫画風の動画を生成する！（RunwayGen-3×Midjourney×DomoAI）

こんにちは！株式会社ニジボックス　UX・ディレクション室、室長の吉川です。
今回は「漫画風の動画を生成する！」がテーマです！

私がもともと漫画家からキャリアをスタートしたこともありまして（謎キャリアですが。。）昨今の生成AIの進化において、より自分なりの表現をしたいと思うようになり、このテーマに挑戦したいと思いました。

そして、試行錯誤の結果、できた動画がこちら！

どうでしょう？かなりいい感じに出来たと思っています。
最終的に、Runway Gen-3とMidjourneyとDomoAIを組み合わせるという方法が一番良かったです。
今回は、この動画の作成方法を惜しみなく詳しくお伝えします！

1.Runway Gen-3で元動画を生成

まずは元となる動画をGen-3で生成します。
ChatGPTに作りたい動画のシーンを伝え、適切なプロンプトを作ってもらいます。

▼ChatGPTへの指示

ここでポイントはAIにプロンプトを生成してもらうということ

最初にプロンプトを作る手間を省くだけでなく、もし思い通りの動画にならなかったときに「この辺おかしいからプロンプト直して」と指示を出せばいいだけなので、自分で作るより修正の手間を考えるとAIでやるのが吉！

そして、できたプロンプトがこちら

これを英語に翻訳し、プロンプトは完成。
そしてこのプロンプトをRunway Gen-3に投入！
出来た動画がこちら！

これでRunway Gen-3の出番は終了です。

2.Midjourneyで漫画風のイラストを作成

さて、次は漫画風のイラストをつくります。
これを後から上記の動画にマージします。

上記でRunway用に作ったプロンプトをMidjourneyにもいれるのですが、さらにテイストを指定します。

2024年4月から実装された「スタイルリファレンス機能」を使い、好みの漫画風のスタイルをプロンプトに反映させイラストを生成するのです。

やり方は簡単！
まずはテイストを参考にしたい画像（今回は漫画画像）をMidjourneyのDiscordにアップし画像のURLを取得

その後
画像生成をする通常のプロンプト（つまりRunwayの動画用に作ったプロンプト）の後ろに「 --sref (テイストを参考にしたい画像のURL) --sw 1000」
と付け加えます。※swはどのくらいsrefの要素を引き継ぐか？で1000がMAXです。
※今回スタイルリファレンスのやり方は詳しく説明しませんので、もし上記ではわからない。という方は他の記事を参照ください！

Runway用のプロンプトとテイストを参考にしたい画像のURLを組み合わせて生成した画像がこちら！

これでMidjourneyの出番は終了！さぁ、最後に組み合わせます！

3.DomoAIで動画とイラストを合成し漫画風の動画を生成

最後はDomoAIの出番です！

2024年6月に追加された「Fusion style v2」を使います。

まずは左上からPromptエリアに、Runwayで入れたプロンプトを（このプロンプトは計3回使いましたね。使いまわせて便利！）

スタイルは「Fusion style v2」を指定。これを指定することで、下に「参照画像」というエリアが現れ、その画像を参照してくれます。

参照画像にはMidjourneyで作った画像をいれます。

そして右の動画アップエリアにはRunwayで作った動画をアップロード。
あとは、下の「生成」ボタンを押せばOK！

その結果できた動画が最初にお見せしたこちらです！

かなり満足する出来となりました！！
※このやり方に行きつくまで1日くらい試行錯誤してましたが。。w

4．最後に

いかがでしたでしょうか？
AIツールはどんどん進化し、来週にはどんなものが出ているかわからない状況になってきました。
その中で、そろそろ、その人の個性や独自性が求められる状況になってきたのでは？となんとなく感じています。

自分なりの表現、自分が気持ちのいい表現を今後より突き詰めていきたいと思っています。

最後までご覧くださりありがとうございました！では、また次回！