ByteDance「OmniHuman 2.0」は日常的なシーンでのリップシンクが得意

こんにちは！GENELです。

ByteDanceから、画像と音声をもとにアバター動画を生成できる『OmniHuman 2.0』が登場したので、早速試してみました！👀

OmniHumanといえば、画像1枚と音声から、リップシンク動画を作れるAIモデル。

以前のモデルも試したことがありますが、今回の2.0ではどこまで自然になったのか気になるところ。

ということで今回は、HeyGen アバターⅤとも比較しながら、日本語のリップシンクや動作の自然さを検証してみました！

OmniHuman 2.0とは？

OmniHuman 2.0は、ByteDanceが開発したアバター動画（リップシンク）生成AIです。

人物の画像と音声を入力することで、音声に合わせて話したり、表情や身体を動かしたりする動画を生成できます。

こんな感じで、動きとリップシンクを同時に生成できるのは、当時（約1年前）は他になかったので、自分の中ではかなり衝撃的だったのを覚えています！👇🏻

• ニュースキャスターが原稿を読む

• 人物がカメラに向かって商品を紹介する

• 会話に合わせて表情や身振りを変える

といった動画を、人物画像と音声から作れるわけですね！

現在はfal.aiなどで利用できます。
ということで、どれくらい自然に生成できるのか試してみました↓

①ニュースキャスターのリップシンク

まずは、女性アナウンサーがお天気ニュースを伝えるシーンで検証してみました。

参照画像（GPTimageで生成）

参照音声（ElevenLabsで生成）

セリフ

[bright] [friendly]えー続いて、週末のお天気です。
きょうは全国的に秋晴れとなり、関東では絶好のお出かけ日和です。
えー、ただ、朝晩は冷え込みますので、お出かけの際は上着をお持ちください。  
[くしゃみ]失礼いたしました。

音声はElevenLabsで生成しました。

OmniHumanはリップシンクだけではなく、動きも指定できるので、ちょっと期待を込めて今回は最後にくしゃみをして「失礼いたしました」と言うシーンも追加しています。

結果は…

身体の動きはまあまあいい感じかな？
ニュース原稿を読みながらの動作も、比較的自然に見えます。

ただ、気になったのがリップシンクと目の動きです。
口元の動きが音声とうまく合っていなかったり、目の動きに少し違和感があったり…。

顔に注目するとAIっぽさが残っている印象でした。

ちなみにHeyGen アバターⅤだと…↓

さすがHeyGen、リップシンクはいいですね。
くしゃみの動作は全然できてないですが…！

②正面からのリップシンクも検証してみた

OmniHuman 2.0の口元の動きが少し気になったので、もう1パターン検証してみました。

今度は人物を正面から映した構図で、リップシンクの自然さをチェックします。

参照画像（GPTimageで生成）

参照音声（ElevenLabsで生成）

セリフ

[bright] [friendly]えー続いて、週末のお天気です。
きょうは全国的に秋晴れとなり、関東では絶好のお出かけ日和です。
えー、ただ、朝晩は冷え込みますので、お出かけの際は上着をお持ちください。  

さっきの動画のくしゃみなしバージョンです。

結果は…