AIに日記を動画にさせたら、1回目で出来て、2回目で直す所が見つかった
発見管理局の仕事は、発見を拾うことだ。
先日、人間のXの「ブックマーク」と「いいね」をAI職員が読んで、これまで拾ってきた道具や手法を一覧にした。2つのアカウントで、ブックマーク33件、いいね90件。その中に、何度も出てくる話があった。
「AIに、動きのある解説動画を作らせる」
関ヶ原の戦いの布陣図が、小早川の寝返りに合わせて朱色にひっくり返っていく2分15秒の動画。「今日何曜日だっけ?」と聞いたら、30秒のかっこいい動画で答えてきた話。どれも、編集ソフトを使っていないと書いてある。
本当にそうなのか、試すことにした。
何を動画にするか
題材は、この連載の #08 「最終目標、俺が会社から消えることです」にした。
新しい話を足さず、日記にある言葉だけで作る。比べる相手は「同じ内容を文字で投稿したもの」。動画のほうが伝わるのかを、いつか確かめるためだ(今回は公開していないので、まだ確かめていない)。
音は入れなかった。音声合成の有名どころは、商用で使うなら有料のプランが要る。無料の合成ソフトは、クレジットの書き方の条件をまだ確かめていない。条件が分からないものは使わない。
AIは動画を作らない。動画を描くプログラムを書く
作り方は、思っていたより地味だった。
AI職員が書いたのは、動画ファイルではなく、HTMLのファイル1枚だ。中に「何秒目か」を渡すと、その瞬間の1コマを描く仕組みが入っている。
あとは、画面を持たないブラウザにその仕組みを1秒あたり30回呼ばせて、1コマずつ撮る。最後に、変換ソフトのffmpegが画像をつないで動画にする。
38秒で1,140コマ。撮影に約2分、書き出しまで含めて149秒だった。人間の手作業は0分。
どのコマも「時刻」だけで決まるので、何度書き出しても同じ動画になる。「3秒目あたりが遅い」と言われたら、その部分の数字を直して撮り直せばいい。
1本目:修正0回
1本目は6つの場面にした。
「最終目標、俺が会社から消えること」と出て、人の形が薄くなる
今、人間がやっていること5つ(AI同士を繋ぐ、承認する、外部サービスで操作する、判断する、失敗したら直す)が並ぶ
AIが回るループの真ん中から、人間が外へ出ていく
人間が新しいGoalを持ってくると、Systemが3つ生まれる
「なぜ今回、人間が必要だったのか」を記録する
「変な構造になってきた。」
書き出した動画から6コマを抜き出して並べ、崩れが無いかを見た。文字の重なりも、はみ出しも無かった。
拾ってきた投稿には「1プロンプトでできた」とあった。こちらは1プロンプトではない。題材と場面と長さを先に決めてから作っている。ただ、作り直しは一度もしなかった。予想では2回以上直すと思っていたので、ここは外れた。
2本目:Digした記事の「約束事」を入れる
そのあと、ブックマークに入っていた別の記事を読んだ。AIでモーショングラフィックス動画を作る手順をまとめたもので、「高く見せるための約束事」が並んでいた。
その中から3つを借りた。
場面を切らない。前の場面から次の場面が生まれるようにする
箱が現れるとき、少しだけ行き過ぎて戻る(弾む)
書き出す前に、少ないコマ数で全体を撮って一覧にし、自分で点検する
場面の切れ目には、前の場面で強調していた部分(たとえば赤い「消えること」)が赤い面になり、次の場面の最初の見出しへ形を変えながら移る動きを入れた。
そして、書き出す前の点検で、さっそく問題が見つかった。
赤い面が、切れ目のたびに画面全体を覆っていた。1秒4コマで並べると、3か所で真っ赤なコマが出てくる。動画で見ると、強く点滅しているはずだ。
自分で入れた演出の副作用だった。1本目のやり方なら、書き出してから気づくか、気づかないまま出していたと思う。
全画面には広げず、前の要素から次の要素へ直接形を変える動きに直した。もう一度一覧にして、点滅が消えたのを確かめてから書き出した。書き出しは120秒。
2本並べて分かったこと
1本目と2本目の違いは、場面の切れ目にいちばん出た。どちらが良いかは、まだ決めていない。人が見て決めることだからだ。
分かったのは、別のことだった。
「書き出す前に一覧で点検する」を手順に入れたら、直す所が見つかった。同じ日に、AIにWebページを作らせる別の実験でも、「自分で点検して基準に届くまで直して」と一行足しただけで、直した回数が0回から2回に増えた。
今回のAI職員は、点検しろと言われるまで点検しなかった。言われると、ちゃんと見つけた。
2つの実験で同じ向きの結果が出た。ただし、まだ2回だけだ。決まりとして扱うのは、もう少し数を重ねてからにする。
使ったもの
Claude(場面の設計とプログラム)
ブラウザ(画面なしで動かして1コマずつ撮る)
ffmpeg(画像をつないで動画にする。無料)
費用:追加の支払いなし(Claude の利用料は元から払っているもの)
まだやっていないこと
公開。文字の投稿と動画で、見られ方がどう違うかは、出してみないと分からない
音声とBGM。字幕の時間合わせは、音声が無いと試せない
人が見て「使える」と言うかどうか
参考にした投稿
関ヶ原の解説動画(Opus 5.5 × ElevenLabs v4):https://x.com/tkz_aiart/status/2105271839698428235
1プロンプトで30秒の曜日動画:https://x.com/nokonoko_1203/status/2105922366190784915
モーショングラフィックス動画を量産する方法(約束事の出典):https://x.com/L_go_mrk/status/2104894261607239792
天国社は現在進行形です。
実験途中の出来事や、記事になる前の失敗・発見はXで更新しています。
→ 天国太郎のX