Base of SDXL

2024年12月12日 13:42

18.03.2026, updated to fix ComfyUI Nodes2.0 and SAM3. However you can use on legacy UI mode, but it's layout don't works correctly.

序文

About SDXL

私はComyUI上で、SD1.5、SDXL、Pony、Flux1…それぞれにベースとなるワークフローを組んでいますが、そろそろ整理整頓していきたい処で、Flux1に関してはここまでベースだけでなく各種掲載してきましたが、

ここでSDXL用のベースプログラムを掲載する記事を一つ作っておきましょう。何だかんだ、一番バリエーションを多く作ってきたのは、Flux1でもSD1.5でもなく、実はpony含めてSDXLです。以降、ベースプログラムを更新する度にここにアップロードしていく事とします。

誰かしらの為という以前に自分自身のためにですね。データベース的な意味合いです。

SDXLテーマのマガジンも、以降作成していく事にします。

また、ComfyUIを初めて使用する方の為に、Windowsにおいて0ベースから本jsonを導入する記事を以下に作成しました。

Fixed Clip-G

shiba*2さんが、SDXLに内装されるClip-Gの仕様に関して重要な情報を示唆されています。

SDXL使用に際しては、以下記事内で公開されているcomfy/comfy/sdxl_clip.pyへの置き換えを推奨します。記事内にもある通り、確かにリザルトへの影響の有無は不明ですが、限られたトークン数へのノイズ加算は防げます。

この種の問題は、まず通常はユーザーが目視しない部分なので、意識しえない処ですが、私は以前、Florence2のtransformers4.50以上不適合問題で、付随して同種のノイズ混入問題に対処したことがあるので、実感で理解できます。限られたトークン数を、ノイズで消化されてはたまらぬ。

ComfyUI_FreeU_V2_advanced

A customized nodes of "ComfyUI_FreeU_V2_advanced" was added to jsons from Ver.Ⅳ onward. This is developed by shiba*2-San who is is well-versed in SDXL-related technologies.

Now, you can't install that from ComfyUI-Manager, you have to install it using the git clone command.

For technical details, please refer to the following article.

Then, You have to install ComfyUI-NunchakuFluxLoraStacker which I developed to use LoRA V2 in my jsons.

Ver.Ⅰ with Refiner ＆ WaveSpeed

これが文字通り大元の大元です。Refiner、Upscaler、Skin Detailer、Face Detailer付きです。更にMulti ControlNet(canny, OpenPose, Depth)とIPAdapter+を搭載したフルバージョンです。Sage Attention及びWaveSpeedも対応させました。ComfyUI Nodes2.0対応の為、旧UIでは配置が狂います。その場合は、適宜修正してください。

Ver.Ⅱ without Refiner

Refinerを削除したバージョンです。Ver.Ⅰ同様、Sage Attention及びWaveSpeedに対応します。各機能に対してはBypassによるON/OFF切り替え機能も付けています。モデルを変更すれば、ponyやSD1.5でも使えます。

ちなみに、サンプルにはIPAdapterに兎さんの絵をロードしていますが、人間の顔を含む絵でないとエラーを起こします。使用しない場合はデフォルトのようにBypassさせてください。

Ver.Ⅲ with PCM LoRA 16steps

高速化LoRA、PCM適用版です。

PCM高速化に関しては、以下の記事を参照して下さい。

SDXL用のControlNet Modelsに関しては、以下の記事を参照して下さい。