
「字幕を入れて」と頼んだら、GeminiもGrokも喋り出した|10秒の実験
まず最初に、2つの動画を再生してみてください。
どちらも、同じ4枚の画像を使っています。
同じ順番です。
同じ10秒です。
同じプロンプトです。
片方はGemini。
もう片方はGrok。
ただし、最初はどちらがどちらかを気にせず、
まずは2つの動画がどう違って見えるかだけ見てみてください。
動画A
動画B
見終わると、たぶん最初に気づくことがあります。
同じ指示なのに、全然同じ動画にはなっていない。
今回の記事は、その違いを少しだけ観測してみた記録です。
きっかけは、先日書いたAIの記事だった
先日、
「AIは、どうして同じ質問に違う答えを返すのだろう」
という寄り道観測を書きました。
AIを使っていると、同じような質問をしているのに、返ってくる答えが違う。
モデルが違えばもちろん違うし、
同じAIでも、文脈や検索、メモリ、システム側の指示、生成時の条件などによって結果は変わる。
それ自体は、普段AIを使っていると十二分に感じています。
文章を書かせても違う。
調べさせても違う。
コードを書かせても違う。
でも、文章だけだと少し分かりにくい。
そこでふと思いました。
「動画なら、もっと分かりやすく見えるんじゃないか」
ちょうど最近、ビット娘と債券ちゃんがフリーマーケットを歩く
「噛み合わない二人|フリーマーケットの日」
という1話完結の話を出したところでした。
サムネや場面用に4枚の静止画があったので、
「これを同じ条件でGeminiとGrokに動かしてもらったら、どう違うんだろう」
と試してみることにしました。
ビット娘と債券ちゃんは、見る場所が少し違う
この二人は、同じものを見ていても、見る場所が少し違います。
ビット娘は、目の前の品物が本当に動くか、どんな傷があるか、実物そのものを見る。
債券ちゃんは、保証書や記録、付属品のような「残っている情報」を見る。
フリーマーケットで同じ店を見ているのに、確認するポイントが少しずれる。
でも最後には、その違う確認方法が同じ問題の確認につながる。
そんな話です。
なので今回の10秒動画でも、
二人がフリーマーケットを見る
ビット娘が古いカメラを見る
債券ちゃんが時計や保証書を見る
最後に二人を同じ画面に戻す
という4カットにしました。
今回は、かなり細かく条件を揃えた
ちなみに、私は動画制作の専門家ではありません。
普段も、AIで静止画を動かしたり、簡単な編集を試したりする程度です。
なので今回も、画質や映像技術を専門的に評価する比較ではなく、
同じ素材と同じ指示を渡したら、何が返ってくるかを見るだけの小さな実験
です。
せっかく比較するなら、
「Geminiにはざっくり頼んだ。Grokには細かく頼んだ」
では意味がありません。
そこで今回は、できるだけ条件を揃えました。
使ったのは、
同じ4枚の静止画
同じ画像順
同じ16:9
同じ約10秒
同じ4カット構成
同じ字幕
同じプロンプト
です。
さらに、プロンプトもかなり細かく作りました。
どの画像をどのカットに使うか。
キャラクターの顔、髪型、服装、アクセサリーを変えないこと。
ビット娘のカメラを別物にしないこと。
債券ちゃんの時計や紙を消さないこと。
動きは、まばたきや視線移動、髪の揺れ、手元の小さな動き程度にすること。
大きく歩かせない。
急に振り向かせない。
余計なキャラクターを増やさない。
字幕は指定した日本語をそのまま使う。
かなり細かく決めました。
さらに、実行前にプロンプトそのものを監査した
今回は、動画を作る前にプロンプト自体もかなり疑いました。
最初に作ったプロンプトを、
Gemini
Grok
Claude
ChatGPTの自己監査
の4方向から確認しました。
「曖昧な指示はないか」
「4枚の画像と4カットの対応は合っているか」
「動きを指定しすぎていないか」
「字幕の条件は比較実験として揃っているか」
「キャラクターの持ち物が途中で消えそうではないか」
といった部分を何度か修正しました。
たとえば最初は、参考画像の番号とカットの対応にズレがありました。
それを監査で見つけて修正。
字幕のデザインも「黒縁または半透明帯」のような選択肢が残っていたので、一つに固定。
動きも減らしました。
最後は、
「もし指示が競合したら、何を優先するか」
まで決めました。
かなり事前に詰めたつもりです。
だからこそ、
ここまで揃えたら、さすがに似た動画になるのでは?
と少し思っていました。
でもGeminiは、字幕を出さずに喋った
先ほどの2本のうち、
Geminiが作ったのは【動画A】です。
最初に見たとき、
「あれ?」
と思いました。
二人が喋っている。
いや、喋ること自体はいい。
むしろ動画としては自然です。
ただ、今回こちらが明示していたのは字幕でした。
ところがGeminiは、少なくとも私が期待していた形では字幕を出さず、台詞を音声にしてきました。
4カットの流れはかなり守っています。
キャラクターも大きくは崩れていません。
動画として壊れているわけでもない。
でも、
「字幕を入れて」という指示に対して、そこをそう解釈したのか。
という結果でした。
これだけでも、かなり面白かったです。
Grokは、字幕も音声も入れた
そしてもう片方がGrokです。
こちらも喋りました。
ただし、Grokは字幕も入れてきました。
しかも、最初に見てかなり驚きました。
私には、画もかなりきれいに見えました。
キャラクターもかなり保たれているように感じました。
でも、一番印象に残ったのはそこではありませんでした。
喋り方と、間です。
ビット娘は少し前に出るように話す。
債券ちゃんは、少し間を置く。
単に文章を読み上げている感じではなく、二人のテンポの違いがある。
この二人は、もともと「少し噛み合わない」二人です。
ビット娘は先に動く。
債券ちゃんは確認する。
その違いが、声だけではなく、
話す間
にも出ているように感じました。
正直、
「Grok、こういう会話劇かなりうまいのでは?」
と思いました。
少なくとも、今回の10秒ではそう感じました。
そして、Grokは最後で切れた
このまま最後までいけば、かなり完成度が高い。
そう思って見ていました。
ところが、
最後で切れました。
途中です。
ここで少し笑いました。
Geminiは、字幕を頼んだのに、こちらの想定とは違う形で喋った。
Grokは、字幕も音声も入れて、かなりいいところまで作った。
でも最後まできれいには終わらなかった。
結局、
どちらも完全にはこちらの想定どおりではありませんでした。
だから今回は、あえて直していない
ここは今回の記事でかなり大事なところです。
この2本の動画は、
あえて完成させていません。
本来なら、
Geminiにはもう一度、
「字幕を必ず出してください」
と頼めばいい。
Grokには、
「最後が切れないようにしてください」
と頼めばいい。
何度か作り直して、一番きれいなものを選ぶこともできます。
でも、それをやると今回の実験の意味が少し変わってしまう。
今回見たかったのは、
同じ4枚と同じプロンプトを1回ずつ渡したときに、何が返ってくるか
です。
だから、
Geminiも1回。
Grokも1回。
修正生成はしていません。
うまくいかなかった部分も含めて、そのまま載せています。
完成品を比べるのではなく、
最初の一発でAIがどう解釈したかを見る。
今回はそちらを優先しました。
これだけで「どちらが優秀」とは言えない
もちろん、この10秒だけで、
「Grokの方が動画生成に強い」
とか、
「Geminiは字幕が苦手だ」
と結論づけるつもりはありません。
一回ずつしか生成していません。
別の画像なら違うかもしれない。
別のプロンプトなら違うかもしれない。
同じ条件でも、次にやれば別の結果になるかもしれない。
だからこれは性能比較というより、
小さな観測記録
です。
今回の条件では、
Geminiはこう返した。
Grokはこう返した。
それだけです。
でも、私の中のGrokの位置づけは少し変わった
ただ、一つだけ自分の中でかなり変わったものがありました。
私はこれまで、なんとなく
動画ならGemini。
Grokはサブ。
くらいに考えていました。
きちんと比較して決めたわけではありません。
何度か使った印象から、勝手にそう役割分担していただけです。
でも今回、Grokの動画を見て、
「あれ?」
となりました。
特に、
会話劇。
声。
間。
二人のテンポ。
このあたりは、かなり面白い。
もちろん最後は切れました。
だから「完璧だった」という話ではありません。
でも、
Grokは動画のサブ
という自分の中の分類は、一度外した方がよさそうだと思いました。
AIの違いを見るつもりで、自分の思い込みも見つかった
最初の問いは単純でした。
GeminiとGrokに同じ指示を出したら、同じ動画になるのか。
結果は、
少なくとも今回は、かなり違いました。
でも、この実験で一番面白かったのは、
AI同士の違いだけではありませんでした。
私はAIを観測するつもりで、
「このAIはこういう用途」
と自分の中で決めていたことにも気づきました。
先日の寄り道観測では、
「AIは、どうして同じ質問に違う答えを返すのだろう」
と調べました。
今回は、その小さな答え合わせを動画でやってみたような感じです。
同じ指示でも、返ってくるものは同じではなかった。
そして、
こちら側の
「このAIならこうなる」
という思い込みも、案外あてにならない。
今回は、そんな10秒でした。
関連する寄り道
今回のきっかけになった記事です。
▼「AIは、どうして同じ質問に違う答えを返すのだろう」
▼今回使ったビット娘と債券ちゃんの話はこちらです。
▼モジホコリを読む方法