Fixing jsons to RTX5060ITi 16GB
Fixing nodes to RTX5060Ti 16GB
序
RTX5060Ti 16GBへGPU換装の為、以降は専用VRAM16GB前提のjsons作成と各種設定に切り替えていきます。
恐らく一部のjsonsでは、RTX4070 12GBよりも速度は低下するでしょうが、まあ概ね恩恵はあるでしょう。
特に、従来12GBを若干超える感じで動作していたControlNet付のFlux1-dev.fp16.safetensors関係jsonsの高速化は、SA-2++とWaveSpeedを組み合わせた時に圧倒的でした。元々、家庭用GPU向けに開発されていないFA-3も、Adaと比して多少はBlackwellに利点が生じるかもしれません。(現時点、BlackwellではFA-3を使用できない。xformersは、FA-2又はcutlassで動作させるしかなく、SDXL以上はSA-2++を基本としていく)
一方、MultiGPUによるDistorchを使用してきた動画生成系jsonsでは、設定をアジャストしない事には寧ろ遅くなるケースもありましたし、torch.compileを外した方が高速であるケースが増えました。
RTX4070 12GB売却による実質的な支出
購入したMSI GeForce RTX 5060 Ti 16G VENTUS 2X OC PLUS グラフィックスボード VD9137商品価格78,768円に対し、
売却したMSI GeForce RTX 4070 VENTUS 2X 12G OC グラフィックスボード VD8471の収入が35,000円となり、
差し引き、実質的な支出額は43,768円でした。
Flash Attention-3
現状、xformers側のビルドは0.0.31登場初期に問題だったFA-3ビルド不良はクリアしていますが、逆にBlackwellコア側で正常にFA-3を使用できない状態に陥っています。
ロードできない訳ではなく、ロードすると落ちます。
PS D:\userfiles\comfyui> python_embeded\python.exe -m xformers.info
xFormers 0.0.32.post2
memory_efficient_attention.ckF: unavailable
memory_efficient_attention.ckB: unavailable
memory_efficient_attention.ck_splitKF: unavailable
memory_efficient_attention.cutlassF-pt: available
memory_efficient_attention.cutlassB-pt: available
memory_efficient_attention.fa2F@0.0.0: unavailable
memory_efficient_attention.fa2B@0.0.0: unavailable
memory_efficient_attention.fa3F@2.8.0.post2-3-g3ba6f82: available
memory_efficient_attention.fa3B@2.8.0.post2-3-g3ba6f82: available
memory_efficient_attention.fa3F_splitKV@2.8.0.post2-3-g3ba6f82: available
memory_efficient_attention.triton_splitKF: available
indexing.scaled_index_addF: available
indexing.scaled_index_addB: available
indexing.index_select: available
sp24.sparse24_sparsify_both_ways: available
sp24.sparse24_apply: available
sp24.sparse24_apply_dense_output: available
sp24._sparse24_gemm: available
sp24._cslt_sparse_mm_search@0.0.0: available
sp24._cslt_sparse_mm@0.0.0: available
swiglu.dual_gemm_silu: available
swiglu.gemm_fused_operand_sum: available
swiglu.fused.p.cpp: available
is_triton_available: True
pytorch.version: 2.8.0+cu129
pytorch.cuda: available
gpu.compute_capability: 12.0
gpu.name: NVIDIA GeForce RTX 5060 Ti
dcgm_profiler: unavailable
build.info: available
build.cuda_version: 1208
build.hip_version: None
build.python_version: 3.9.13
build.torch_version: 2.8.0+cu128
build.env.TORCH_CUDA_ARCH_LIST: 7.5 8.0+PTX 9.0a
build.env.PYTORCH_ROCM_ARCH: None
build.env.XFORMERS_BUILD_TYPE: Release
build.env.XFORMERS_ENABLE_DEBUG_ASSERTIONS: None
build.env.NVCC_FLAGS: -allow-unsupported-compiler
build.env.XFORMERS_PACKAGE_FROM: wheel-v0.0.32.post2
build.nvcc_version: 12.8.93
source.privacy: open source
PS D:\userfiles\comfyui>なので、当面SDXL以上はSA-2++を使い、SD1.5に関してはFA-2又はcutlassを使う想定をしています。
Fixed xformers for Blackwell
ここまで、SAやFA-3を適用する為の改造技術を公開してきましたが、FA-3は現状Blackwellにおいて使用できない為、FA-2及びcultlassへのフォールバックを行う改造を順次公開していきます。
完全改訂版 Fixing A1111 for Flash Attention-3
A1111に関しては、Blackwellにおいても以下改造適用時により、自動的にFA-2或いはcutlassにフォールバックされます。但し、FA-2は内装されていない為、別途インストールが必要です。
For ComfyUI、Forge、reForge
ComfyUI、Forge、reForgeにおいては、xformersが自動的に優先してFA-3をロードする可能性があり、それがエラーの原因となる為、以下の方法で対処してください。
\venv\Lib\site-packages\xformers\flash_attn_3\_c.pydを削除する。
(削除するよりも別の場所にバックアップしておくと良い)
Forge及びreForgeに関しては、Blackwellにおいても、自動的にFA-2或いはcutlassにフォールバックされます。但しFA-2は内装されていない為、別途インストールが必要です。
また以下の改造適用により、各種カーネル使用状況を可視化できます。
当然ながら、私が以前公開したForge系WebUIへのSA適用改造とのオンオフも効きます。以下の様に、SAオンであればSA-2++が適用されます。
Fixed reForge for Sage-Attention-2++
Fixed Forge for Sage-Attention-2++
Fixed nodes to RTX5060Ti 16GB
WAN2.2 t2i 14B FP16 GGUF with lightx2v LoRA 6steps＆Upscaler
一つずつRTX5060Ti 16GBに最適化する形で調整してきますが、とりあえず、元々Distorchの効き方がおかしかったClownsharkを使用したWAN2.2t2iから最適化が完了しました。
DistorchなしでClownshark Sapmler処理はギリ、専用VRAM16GB未満に収まります。torch.compileはFlux1.SのUpscaleでは使用しますが、Clownsharkに対しては使用していません。
WAN2.2 i2i with lightx2v LoRA 6steps＆FaceDetailer＆Upscaler on Flux1-S
こちらも結局、WAN2.2に対してはDistorchもtorch.compileも廃止しました。16GBあれば、Distorch無しでサンプラー処理は専用VRAM内に収まります。加えて各部を相当改良しています。
Qwen Image BF16 GGUF t2i with lightx2v-Lightning LoRA 8steps＆Face Deatiler＆Upscaler
こちらも結局、Distorchもtorch.compileも廃止しました。UpscalerでFlux1に対してはtorch.compileを使用します。
フルサイズのBF16.GGUFでも、16GBあればDistorch無しでサンプラー処理は専用VRAM内に収まりますが、以下ではQ8を使用します。理由は、以下記事内で解説しています。加えて各部を相当改良して再公開しました。
