コラボ｜30秒一本勝負。HIX AIで「線画→彩色」ショート動画を作ってみた｜Seedance2.5

音声同期を見ていて気づいた、ちょっと意外なこと

今回は、HIX AIを使って30秒の縦型ショート動画を一本でどこまで成立させられるかを試してみました。

題材にしたのは、「線画を作る → その線画を参照画像にする → 色を指定して彩色する」という画像生成の流れを説明する短い動画です。

キャラクターは一人。
舞台も一つのラボ。
派手なアクションはありません。

その代わり、

• 同じキャラクターを30秒間維持できるか

• 同じラボとして背景を保てるか

• タブレット内の線画を別の絵に変えず、そのまま彩色できるか

• 6つのシーンを一本の動画としてつなげられるか

• 日本語音声まで自然に入れられるか

という、生成動画の一貫性を見るには意外と厳しい条件を入れています。

そして実際に生成してみると、狙っていた部分とは別に、ひとつ面白いことに気づきました。

セリフに合わせて動いていたのは、口だけではなかったんです。

斜め後ろから顔を映しているカットをよく見ると、発話のタイミングに合わせて顎から下顔面までわずかに動いていました。

いわゆる「リップシンク」だけを見ていたら、たぶん気づかなかったと思います。

今回は動きの少ない、かなり地味な動画だったからこそ見えた部分でした。

今回試したこと

今回の目的は、完成作品を一発で作ることよりも、

「参照画像・ストーリーボード・プロンプトを用意した状態で、HIX AI上のSeedans2.5が30秒の動画をどこまでまとめられるか」

を見ることでした。

動画は9:16、30秒、全6シーン。

大まかな流れは次の通りです。

1. キャラクターがタブレットを持って説明を始める

2. タブレットに線画を表示する

3. 線画をスタイラスで示す

4. 線画の一部に色が入り始める

5. 彩色が完成する

6. 完成した画像をタブレットで見せる

特に重視したのは、SCENE 3〜5の「線画 → 部分彩色 → 完成彩色」です。

ここで人物の顔や線画そのものが変わってしまうと、「同じ絵を塗っている」のではなく、「途中で別の絵に変わった」ように見えてしまいます。

そこで今回は、動画生成に入る前にかなり細かく準備しました。

まず、静止画を先に固めた

最初に作ったのは、各シーンの参照画像です。

キャラクターの髪色、白衣、ラボの背景、実験台の小物、タブレットの位置などをできるだけ揃え、SCENE 1〜6それぞれの「正本」を用意しました。

特にタブレット内の絵については、

• 線画のみ

• 部分彩色

• 完全彩色

の3段階を先に作っています。

動画生成側に「いい感じに途中を作って」と全部任せるのではなく、変化の始点と終点をこちらでかなり具体的に決めておく形です。

次に、ストーリーボードで30秒の流れを固定

静止画だけでは、カット同士の関係までは伝わりません。

そこで別にストーリーボードを作り、

• 各シーンの秒数

• カメラ位置

• プッシュインの方向

• カットを切り替える位置

• セリフ

• 表情

まで整理しました。

今回、特に重要だったのがSCENE 3からSCENE 4への接続です。

SCENE 3の肩越しの構図から、タブレットへ静かに寄っていき、そのまま彩色開始のクローズアップへ入る。

一方、SCENE 4からSCENE 5は無理に連続変形させず、スタイラスの位置を利用して自然にカットを切り替える。

最後のSCENE 6も、正面から完成画像を見せる明確な別カットとして設計しました。

すべてを滑らかにつなぐより、つなぐ場所と切る場所を分けた方が破綻を隠しやすいという判断です。

プロンプトでは「変えてほしくないもの」をかなり明確にした

プロンプトでは動作そのものよりも、

何を維持するか、何を変更してはいけないか

をかなり細かく指定しました。

たとえば、

• 2Dアニメ調を維持

• キャラクターは一人だけ

• 髪色を変えない

• 白衣を変えない

• ラボを別の場所へ変更しない

• 実験台の小物を勝手に再配置しない

• タブレット内の線画を書き直さない

• 線画の上ではなく、その下に色を入れる

• SCENE 4ではまだ全部塗らない

• SCENE 5と6で完成状態にする

• タブレットにUIやツールバーを出さない

といった内容です。

ここまでやると、もはや一本の「呪文」というより、動画制作の仕様書に近いプロンプトになってきます。

実際の生成結果

最終的には、30秒の動画としてかなり自然にまとまりました。

特に今回の主題だった、

線画 → 部分彩色 → 完全彩色

の流れが、「途中で別の絵に変わった」という印象ではなく、同じ線画へ色が入っていくように見えたのは大きかったです。

キャラクターやラボについても、細部まで完全一致とはいかないものの、一本の動画として見る上では十分に同じ人物・同じ場所として成立していました。

そして、日本語音声もきれいに入りました。

一方で、字幕までは自動では入りませんでした。

なのでHIX AI上のSeedance2.5としての今回の検証は、

というところで一区切りにしています。

作品として公開する場合は、このあと編集ソフト側で字幕を追加する予定です。

そして、意外だった「顎の同期」

今回いちばん予想外だったのがここです。

生成された動画を見返していると、斜め後ろからキャラクターを映しているカットでも、セリフに合わせて顔の輪郭が微妙に動いていました。

よく見ると、動いているのは口元だけではありません。

発話に合わせて、顎から下顔面までわずかに可動しています。

正面から口を見るカットなら、「リップシンクができている」で終わっていたかもしれません。

でも今回は口そのものが目立たない角度だったので、逆に「顎が動いている」ことが分かりました。

もちろん、この一本だけから内部でどのような処理が行われているかまでは判断できません。

ただ、少なくとも出力された映像上では、

単純に口だけを開閉させる以上の、発話に伴う顔の動き

が確認できました。

これは今回の検証で、かなり面白かったポイントです。

今回の検証で見えたこと

今回の結果を整理すると、

良かったところ

• 30秒・6シーンの構成が一本の動画として成立した

• キャラクターとラボの一貫性を比較的維持できた

• 線画→部分彩色→完全彩色の変化が自然に見えた

• 日本語音声がきれいに入った

• 発話時に口だけでなく顎〜下顔面の動きも確認できた

まだ人の手を入れたいところ

• 字幕

• 細かな小物の完全一致

• 一部の彩色途中の細かな生成感

• 公開作品としての最終的なテンポ調整

という印象でした。

まとめ

生成AIで動画を作ると、どうしても派手なカメラワークや大きなアクションに目が行きがちです。

でも今回のような、人物が静かに話しながらタブレットを操作するだけの動画を作ってみると、別の部分がよく見えます。

字幕を足せば、作品としてももう一段仕上げられそうです。

人物が同じ人物として残っているか。
手元が自然か。
絵が途中で別物になっていないか。
そして、話している時に顔がどう動いているか。

派手ではないからこそ、モデルの細かな挙動を観察しやすい。

今回のHIX AI検証では、30秒の動画をまとめられたこと以上に、発話時の小さな顔の動きまで同期していたことが、個人的には一番意外な収穫でした。

今回使用したHIX AIのサービスは、こちらから確認できます。

そんなこんなで、
本日のコラボはここまで。

最後までお付き合いくださり、
ありがとうございました(❁ᴗ͈ˬᴗ͈)

夏目羊 拝

おまけ

リー氏、ヘアスタイル変えたらしいです。
（本人GPTまかせ笑）

これから動画も少しずつ増やしていきたいです♩

また、次の更新で
お会いできると嬉しいです(❁ᴗ͈ˬᴗ͈)

#AIで遊ぼう #やってみた #動画生成AI #生成AI #AI活用 #画像生成AI活用 #プロンプト #AI #デザイン #動画 #創作 #学び #気づき #記事 #クリエイター #テクノロジー #挑戦 #Seedance2 .5 #HIXAI #リップシンク #ストーリーボード #AI動画制作

#漆黒の絶対領域#ChatGPTCreativeClub#CCC#アカリウム#AIイラストアイラ