ElevenLabs V4で感情の切り替え・舌打ち・心の声まで細かく演じ分けられるように｜使い方・コツの解説

こんにちは！GENELです。

ElevenLabsから待望の新モデル「Eleven v4」が登場！

早速いろいろ触ってみましたが、

という部分が特にすごい…👀✨

ただ「明るい声」「怒った声」をそれぞれ作るだけではなく、

• 楽しく話していたのに、突然真剣になる

• 相手によって露骨に話し方が変わる

• 大声になる

• 舌打ちをする

など、実際の会話で起こるような細かい演技の変化を中心に試してみたので、早速どんなことができるようになったかご紹介していきます！

1. まずはAudio Tagsで感情を切り替えてみる

ElevenLabsでは、セリフの前に

のようなAudio Tagsを入れることで、話し方や感情を指定できます。

今回まず作ってみたのが、

「明るい朝の情報番組 → 突然、緊急地震速報」

というシーン。

普通に天気や紅葉の話をしているキャスターが、途中で一気に報道モードへ切り替わる感じで作ってみようと思います。

実際に使用したテキストがこんな感じです👇🏻

このテキストで生成した音声がこんな感じです👇🏻

この変化がすごすぎますよね…

わかりやすい比較として、旧バージョンのV3でも同じセリフで読ませてみたものがこちらです👇🏻

全然違うのがわかりますか👀？

これは、V4の感情タグを消したりしたわけではなく、モデルをV4→V3に切り替えただけです。

今までV3で苦労していた感情表現が一気に楽になって感動…！！

しかも、話す内容でスピードや緊張感まで変化していて、ちゃんと「アナウンサーが速報に切り替わった感じ」が出ています。

こういう1つの会話の途中で演技を切り替える使い方は、ショートドラマとの相性がかなり良さそうです！

2. 次は、もっと日常的な会話で試してみる

ニュース番組だと、もともと少し演技っぽいシチュエーションでもあるので、次はもっと日常的なシーンで試してみました。

作ったのが、

というシーン。

友達にはめちゃくちゃ楽しそうに話すのに、母親に話しかけられた瞬間だけテンションが下がり、さらに何度も話しかけられて、最後はイライラして怒る…

という、相手によって一瞬で声が変わる演技を試してみます。

実際に使用したテキストがこんな感じです👇🏻
Ken：男子高校生
Aiko：母親

このテキストで生成した音声がこんな感じです👇🏻

友達と母親で話してるテンションが違うのももちろんすごいんですが、実は今回タグで「舌打ち」を入れてみました。

これもかなり自然に再現できています！！✨

ただ「怒っている声」にするだけではなく、

という、感情が少しずつ変化していく流れを1つの音声の中で作れるのが面白いですよね！

ちなみにV3だとこんな感じです👇🏻

全然怒れてないですね😂

3. Eleven v4の使い方

ここまでいろいろ試してきましたが、使い方自体はかなり簡単です。

まずElevenLabsを開き、左の「テキスト読み上げ」をクリック。

そして、右の欄の「モデル」をクリックし、「V4」にします。

お好みで、先ほどと同様に右の欄から「ボイス」をクリックして、音声も変えましょう。

そしたらテキストを入力します。

感情タグは、下の欄の「V4強化」でも入れられますし、ChatGPTなどに聞いて入れてもらってもOKです。

今回のように複数人で会話させたい場合は、それぞれの話者にVoiceを設定していきます。

個人的にかなり使いやすいと思ったのが、決められたタグの中から選ぶだけではなく、普通の文章を書く感覚で演技を指定できるところ。

例えば、

みたいに、
「イライラしているけど、怒っていることを隠そうとしている」
といった細かいニュアンスまで指定できます。

また、タグだけではなく、

などの句読点でも、間や勢いが結構変わるので試してみてください！

4. ElevenLabs V4の音声をSeedance 2.5で動画化してみる

ここまでElevenLabs V4でいろいろ音声を作ってきましたが、せっかくなので最後に、この音声をそのまま使ってSeedance 2.5で動画化してみます。

今回の流れはかなりシンプルで、

という形です。

まずは、最初に作った「朝の情報番組 → 緊急地震速報」のシーンから。

画像をChatGPTのImages 2.5で、こんな感じの画像を生成しました👇🏻

Images 2.5の使い方についてはこちらの記事でご紹介してます！↓

そして、この画像と先ほどElevenLabs V4で生成した音声をそのままSeedance 2.5に参照させます。

プロンプトはこんな感じで試してみました。

参照画像@画像を使用する。日本のテレビ局の朝の情報番組。
女性キャスターと男性キャスターの2人がニュースデスクに並んで座っている。カメラは正面から2人を映した固定のミディアムワイドショット。
実際のテレビ番組のスタジオカメラで撮影したような、非常にリアルな実写映像。カメラ位置、画角、人物の座る位置、背景、衣装は最初から最後まで変化させない。
カメラ移動、ズーム、パン、カット切り替えは行わない。開始時は朝の情報番組らしい、明るく穏やかな空気。
女性キャスターと男性キャスターは正面のカメラを基本的に見ながら、@音声使用し自然に会話している。
話している人物だけが口を動かす。
もう一人は口を動かさず、軽くうなずいたり、小さく笑ったりしながら自然に話を聞いている。
冒頭は2人とも柔らかい笑顔。
休日や紅葉について雑談しているような、明るく親しみやすい表情と話し方。
参照音声の話者、タイミング、話す速度、間、感情、イントネーションを正確に使用する。
緊急地震速報の話題へ切り替わった瞬間、空気が明確に変化する。男性キャスターは笑顔をすぐに消し、表情を引き締める。背筋を少し伸ばし、真正面のカメラを見る。慌てたり大げさに驚いたりはせず、プロのアナウンサーとして即座に報道モードへ切り替わる。
女性キャスターも直後に笑顔を消し、真剣な表情になる。
参照音声が速くなった部分では、緊迫感を保ちながら明瞭に早口で伝える。緊急速報後は2人とも余計な笑顔を見せない。
落ち着いているが緊張感のあるニュースキャスターの表情。話していない人物は不自然に口を動かさない。同時に2人が話さない。セリフと口の動きを正確に同期する。
日本の地上波テレビ番組をそのまま録画したようなリアルな質感。
BGMなし。
参照音声@音声をそのまま使用する。

完成した動画がこちら👇🏻

ちゃんと音声も参照してるし、リップシンクも綺麗なんですが、ずっとカメラ目線なのが不自然ですね…👀

ニュースを伝えている時なら自然ですが、

みたいな軽い掛け合いまでずっとカメラ目線だと、結構違和感があります。

そこで、プロンプトを少し変えてみたところ…

ここまで自然な会話風景にすることができました…！

おそらく、今回の『ElevenLabs V4』が出たことで、

と思ってる方が多いんじゃないでしょうか？

このやり方なら、

• セリフミスを極力ゼロに

• イントネーションの不自然さも無くせる

• 会話の間も調整可能

• 感情表現も自由に調整可能

なので、動画生成AIでショートドラマや映画・アニメなどでかなり重宝すると思います。

ということで、実際に使用したプロンプト＆書き方のポイントがこちらです👇🏻