【ComfyUI】ACE-Step 1.5 turboの使い方

ComfyUIがACE-Step 1.5に対応したそうです。

ComfyUIのリポジトリだとACE-Step 1.5 turboのモデルが公開されているので、今回はこれの使い方を紹介します。

ACE-Step 1.5とは？

ACE-Step 1.5は、ACE StudioとStepFunが共同開発した音楽生成モデルです。

言語モデル（LM）が「設計図」を作成し、Diffusion Transformer（DiT）が音声を合成するハイブリッド構成により、低スペック環境でも圧倒的な生成速度を実現しているとのこと。

以下のモデルは既にリリースされていて、acestep-v15-turbo-rlは今後リリース予定です。

• acestep-v15-base

• acestep-v15-sft

• acestep-v15-turbo

・主な特徴（AIまとめ）

• 商用利用が可能: 法的にクリーンなデータ（ライセンス済み・著作権フリー楽曲など）のみで学習されており、MITライセンスの下で商用目的の利用が認められている。

• 圧倒的な高速生成: A100 GPUで2秒未満、RTX 3090でも10秒未満で、歌唱付きのフル楽曲を生成可能。

• コンシューマ機への最適化: 4GB未満のVRAMで動作するため、一般的なノートPCやデスクトップ環境でのローカル実行が可能。

• 高度な編集・制御機能: 単なるテキストからの生成だけでなく、カバー生成、楽曲の部分修正（リペイント）、ボーカルからBGMへの変換、LoRAによる微調整など多彩な機能を備えている。

• 50以上の言語に対応: 日本語を含む多言語プロンプトをサポートしており、Chain-of-Thoughtを用いた高い指示忠実度を誇る。

• huggingface：https://huggingface.co/ACE-Step/Ace-Step1.5

ComfyUIのインストール

ComfyUIのインストールがまだの方はこちらを参考にしてみてください

• ComfyUI ポータブル版：https://note.com/aiaicreate/n/n0bb6c5b8bfa2

• ComfyUI デスクトップ版：https://note.com/aiaicreate/n/n753c76432496

• Stability Matrix：https://note.com/aiaicreate/n/nadcfc6dc8605

• ComfyUI Manager：https://note.com/aiaicreate/n/ne73ba273c412

ACE-Step 1.5の使い方

モデルの用意（AIO）

ComfyUIのworkflowがAIO（オールインワン）モデル用になっています。
動かすならこれだけでOKです。

ace_step_1.5_turbo_aio.safetensors

ComfyUI\models\diffusion_models

・workflow（AIO）

github：https://github.com/Comfy-Org/workflow_templates/blob/main/templates/audio_ace_step_1_5_checkpoint.json

モデルの用意（個別）

個別にモデルロードしたい場合は、split_filesからダウンロードできます。

・diffusion_models

acestep_v1.5_turbo.safetensors

・text_encoders

load clipだとエラーが報告されていて、DualCLIPLoader使う必要があるみたいです。
github：https://github.com/Comfy-Org/ComfyUI/issues/12278
なので2つDLします。

qwen_0.6b_ace15.safetensors
qwen_4b_ace15.safetensors

ComfyUI\models\text_encoders

・vae

ace_1.5_vae.safetensors

ComfyUI\models\vae

・ComfyUIのブログ

ノードの設定&実行（AIO）

・Load Checkpoint

・Song Duration

曲の長さを指定できます。

TextEncodeAceStepAudio1

入力欄は上がcaption、下が構造タグです。

• caption：ジャンル・スタイル・感情・使用楽器などをテキストで指定

• 構造タグ：このセクションは何で、どのように実行すべきかを指定

パラメータ部分：

control after generate：生成後のseed値の変化
bpm：テンポ
timesignature：拍子記号（4/4、3/4、6/8）
language：言語
keyscale：キー（例：C Major、Am）

書き方によって制御が変わるようなので、より具体的に指定したい人はgithubやgithubにリンクされているSuno向けのガイド見てください。

github：https://github.com/ace-step/ACE-Step-1.5/blob/main/docs/ja/Tutorial.md

The Complete Guide to Mastering Suno: Advanced Strategies for Professional Music Generation

結果：

geminiに書き方例渡してプロンプト書いて貰いました。
2分の曲で生成は約30秒。

ノードの設定&実行（個別）

個別にモデルロードする場合はそれぞれのノード追加して繋ぎ直してください。

Load Diffusion Model

DualCLIPLoader

Load VAE

他のノードはAIO部分と同じです。

workflow：
※繋ぎ方間違ってたので修正しました。

結果：

geminiに書いて貰ったのと同じ設定のもので生成は50秒くらいでした。

その他いろいろ試してみました。

・Rock

・R&B

・J-pop

Languageはjaに変更して歌詞もいろいろ試しました。
漢字は理解が難しいみたいです。
個人的にはひらがなが一番マシな気がしました。

・漢字あり歌詞

・ひらがな歌詞

・カタカナ歌詞

・ローマ字歌詞

・ケルト音楽（Instrumental）

まとめ

前回紹介したHeartMuLaもクオリティ高かった印象ですが、ACE-Step 1.5も負けてないと思います。

生成が爆速なので使いやすさはACE-Step 1.5の方が上かもしれません。

あとHeartMuLaはキーやBPMを直接指定するパラメータがありませんでした。

曲調や雰囲気を細かく指定したい方もいると思うので、ACE-Step 1.5はそういう方にも合うと思います。

公式でGradioのGUIが用意されてるみたいなので今度はそっち使ってみようと思います。

※Gradioも触ってみました。

以上ComfyUIでACE-Step 1.5を使う方法について紹介しました。
当サークルではこのようなAIに関するさまざまな情報を発信しています。
メンバーシップに加入して頂くと一部の有料記事は読み放題です。
AI技術の向上、マネタイズ方法などに興味がある方は、ぜひご検討ください。

もしこの記事が少しでも役に立った場合は、いいねやフォローして頂けると励みになります。
最後まで読んでいただき、ありがとうございました。