Wan2.2-t2vモデルで静止画をimage to imageでアップスケールもどきをする＠ComfyUI
Redditの記事にもしばしば議論されていたのですが、Wan2.2での静止画を生成する話です。
GJLさんの記事でさらっと紹介されていますが、結構重要なことだと思っています。
というのは、redditの議論では、FLUXやHiDream、最近出てきたQwenImageと並列にこのWan2.2が上がってきているからです。
[Update] QwenImage vs Flux .1D vs Krea .1D vs Wan 2.2 : r/StableDiffusion
どうしてWan2.2が遡上に上がるかといえば、モデルの容量を考えると分かります。合計で57.2GB(fp16版)ぐらいのモデルなので、巨大です。
テキストエンコーダーも十分な大きさなので、もともとのポテンシャルはかなりものと理解できます。
GJLさんのワークフローにもありますが、txt 2 imgを行う場合、Wan2.2のt2vモデルを使用し、２つのモデルのうち、low noiseモデルを使用します。
なので、実質は28.6GB相当のモデルということになります。
以前の記事のようにlow noiseモデルは、画像のリファイナー的な役割を持つということで、入力した画像に対してレベルアップした画像を出力してくれることが期待されます。
Text to imageについては、Text to videoの設定でバッチを1にすれば出来ます。
生成枚数を1にすることで、画像生成に必要なVRAM量が減るため、動画と比較すると解像度を上げて生成することが可能になります。
PaperspaceのA4000では、モデルを全てブロックスワップでCPUに置くことで上限は試していないのですが、2048x2048の生成も出来ました。
ただ、解像度が高くなると生成時間が伸びてしまいますので、どの解像度が丁度良いのか判断は難しいです。
2048x2048であれば￥、img2imgで例えば1024x1024の元画像であれば2倍にアップスケールみたいな感じで生成することも可能になります。
以下がimg 2 imgのワークフロー例です。
もしかすると元画像のアップスケールはアップルケーラーを使用するのが良いかもしれません。
※FusionXのLoraは以下
Thelocallab/WAN-2.1-loras at main
Chromaモデルで生成した画像で試してみました。
プロンプトは同じで、生成時間の短縮のため、CFG１のポジティブプロンプトのみです。
ちょっと分かりにくいですが拡大を上げると粗がたくさん見えてくる画像です。
＜以下がワークフローで生成された例＞
Wan2.2モデルでのtxt 2 imgは、リアル系に強いという評判の様です。
この方法では、デノイズを下げれば元の画像に近くなる仕様ですが、若干の修正があった方が良い場合はデノイズを上げるのが良い気もします。
印象としては、元画像に変化が出てしまう気がしますが、Tiled diffusionと比較して余計な小人とか出にくい印象なところが良いです。
デメリットとしては、顔とかの絵柄の印象は、元々のモデルではないため、少し変わってしまうところでしょうか。
