【無料AI】LTX-2.3がすごい！ VRAM 8GBでも動いた無料で商用利用可能なリップシンクできる高性能動画生成AI
最近、動画生成AI界隈でかなり話題になっているのが「LTX-2.3」です。
実際に試してみたのですが、想像以上にすごかったので、簡単にまとめてみます。
LTX-2.3とは？
LTX-2.3は、オープンソースの動画生成AIです。
無料・無課金で利用可能
商用利用可能
ComfyUI対応
ローカルPCで動作可能
という特徴があります。
動画生成AIは高性能なものほどクラウド依存になりがちですが、LTX-2.3はローカル環境でもかなり実用的に動きます。ローカルなので無料・無課金で使用できます。
ComfyUI-Managerで導入は簡単
ComfyUIを最新にアップデートしてから左メニューの「テンプレート」で「LTX-2.3：画像から動画へ」を選択します。
モデルの選択でNSFW動画も！
チェックポイントを公式ワークフローデフォルトの「ltx-2.3-22b-dev-fp8.safetensors」からcivitai.redの「sulphur_dev_fp8mixed.safetensors」に置換するだけ。
※civitai.redのアクセスは年齢制限あり。未成年は利用できません。
※周囲への配慮とルールを守ったうえで、個人でこっそりお楽しみください。
愛ちゃんの一押おすすめ無料AIツール
◎理想のキャラを無制限に生成するなら
◎4K出力＆モザイク追従の無料動画編集ソフトならShotcut
◎世界最大級のAI生成モデル共有コミュニティCivitai
開発元はイスラエル企業
LTX-2.3は、イスラエルのAI企業によって開発されています。
最近は動画生成AI競争が激しくなっていますが、その中でもかなり注目度が高いモデルになっています。
表情とリップシンクが自然
実際に触って驚いたのが、
自然な表情変化
リップシンク
のクオリティです。
かなり自然に話しているような動画を作れます。
YouTube風の会話動画や、AIキャラクター動画との相性もかなり良い印象でした。
音声ファイルからリップシンク可能
さらに便利なのが、音声ファイルを使ったリップシンク。
例えば、
Google Speech
VOICE VOXなどの音声合成AI
自分で録音した音声
など外部で作成した音声ファイルを利用して、キャラクターの口パクを同期できます。
これによって、
AI VTuber
ナレーション動画
MV
会話動画
なども作りやすくなっています。
LTX-2.3で作成したリップシンク動画
◎LTX-2.3がヤバい！
今回使用した無料アプリ（ご参考）
・元画像：ChatGPT 5.5 image 2
・AI動画生成：LTX-2.3 WF:LTX-2.3
ワークフロー：画像オーディオからビデオへ、画像から動画へ
・AI音声生成：Google AI StudioからGoogle Speachを使用
・動画アップスケール：FramePack Studio
・動画編集：Shotcut
◎MV「♪生まれてこなければ良かった ～ 微かな光へ」
今回使用したAIツール（全部無料）
・元画像：ChatGPT 5.6 image 2.6
・AI動画生成：LTX-2.3 WF:LTX-2.3：画像からビデオへ
・AI音楽生成：Gemini Lyria 3.5
・動画編集＆書き出し：Shotcut
RTX4060 VRAM8GBでも動いた
正直ここが一番驚きました。
私の環境は、
RTX4060
VRAM 8GB
メモリ32GB
なのですが、実際に動きました。
「動画生成AIは24GB以上必要」
みたいなイメージが強かったので、これはかなり衝撃でした。
もちろん設定次第ではありますが、
fp8モデル
解像度調整
などを使うことで、8GB環境でもかなり現実的に動作します。
◎処理速度について
私の環境（RTX 4060 VRAM 8GB／メインメモリ 32GB）では、1280×720・24fpsの場合、動画の内容やPCで同時に動作している他のジョブの負荷状況によって変動しますが、動画生成には平均して「動画1秒あたり約2分」程度かかります。そのため、1分の動画を生成する場合は、約2時間ほど必要になります。
なお、1280×720・24fps環境では、15秒の動画生成は可能でしたが、17秒では「Out of Memory」エラーが発生しました。
ただし、ComfyUIでは処理をキューにためて順番に実行できるため、外出前や就寝前に複数の処理をセットしておけば、不在時に自動で連続処理させることも可能です。
ComfyUIで動作可能
LTX-2.3はComfyUIに対応しています。
しかも最近のComfyUIでは、
最新テンプレートの中にはLTX-2.3用ワークフローが最初から入っています。
以前より導入難易度がかなり下がっています。
今後かなり流行りそう
個人的には、
FramePack
AnimateDiff
従来型動画生成
よりも、かなり未来を感じました。
特に、
表情
動き
リップシンク
がかなり強いです。
RTX4060クラスでも動作する可能性があるので、
「動画生成AIはハイスペックPCじゃないと無理」
と思っている人も、一度試してみる価値はあるかもしれません。
VRAM6GB以上で動く愛ちゃん愛用のFramePack Studioもお勧めします
◎FramePack Studioで作成したMV「♪君を守りたい」
FramePack Studioにはリップシンク機能がありませんので、リップシンクは無料オンラインサービスで後から付けています。
