CCSR+SUPIR Upscaler EX

概要

何と言うか、ノードを組んでいる途中で気が遠くなる程のプログラムでしたが、何とか組み上げました。

私自身、サポートメンバーになっているAI開発グループ「ControlAltAI」が半年以上前に公開したチュートリアルを元に、
(いつもの事ですが、コメント欄には「理解不能」「ついていけない」…的なコメントがつきます)

最新の技術や私自身の工夫を加えて作成しました。それなりに自分なりの改良が出来たので、結構自信作です。

ここまで、私はマーベリックのKakudai V1をカスタマイズしたアップスケーラーや、「32K Ultra Upscale EX」を公開してきましたが、それらに続く第三のアップスケーラーです。ベースはSDXLです。

テストでは16Kサイズまでしか試していませんが、VRAM12GB以上のGPUで時間をかければ、32Kサイズも行けるとは思います。

とにかく、壮絶に面倒な組み方になりましたが…手間はかかっていてもロジックそのものは全て理解できる範疇の組み方だったので、私自身の経験値と技術も少しずつ進歩はしているなと実感できたので良かったです。

ぶっちゃけ、お金を取りたい位手間はかけているのですが、今回も原型はControlAltAIが考案したものですから(但し、今回に関しては一から自力で組み上げてます。大半は動画の真似としても)、無料で配布します。

追加機能について

基本的な仕様は、上のControlAltAIの動画で解説されていますが、私が改良したり追加した機能がかなりあるので、その部分に関しては以下解説します。

CCSR

初動の部分で、まず始めにCCSRによる拡大処理を行っています。

元絵のサイズに応じて、この倍率を調整してください。ここで倍率を上げすぎると、SUPIR処理の部分でOut of Memoryを起こしやすくなります。

CCSRモデルは、以下からダウンロードしてください。

Custom prompts

ここで、ある程度はプロンプトの指定が出来ますが、本プログラムは画像生成AIではなくアップスケーラーなので、強力な縛りをかけることはできません。ネガティヴプロンプトの定型はあらかじめ入力しています。

SDXL用のembeddingは、以下からダウンロードしてください。

Base Model＆LoRA

ベースモデルは、ControlAltAIが使用していたrealvisXL系ではなくepicrealismXL系を使用しています。

リアル系の絵に対して、特に人間の肌の質感を向上させる為に、real-humans LoRAを使用します。イラスト系の絵を処理する際はオフにするか、強度を下げると良いでしょう。

LoRAは以下からダウンロードしてください。

Generate prompt

元絵に対する追随性を向上させる為に、ollamaによる画像解析を行う...手法は、ここまで私が作成してきたアップスケーラーのお約束でしたが、ollamaは時間がかかりすぎるのが難点で、今回はWD14-taggerとFlorence2を使用しています。また、「best quality」等のPositive Promptの定型はここで「Magic Words」として設定しています。

尚、最新モデルのwd-eva02-large-tagger-v3は、以下からダウンロードしてください。

Kakudai V1 EX with ollama VerⅡとの対比

下は、Kakudai V1 EX with ollama VerⅡとの比較です。生涯をドーピングとの戦いに捧げた我が英雄Greg LeMond氏とBernard Hinault氏。プロンプトには、固有名詞を指定して追随性を補完しています。
(世界的な著名人でしか使えない手ですが)

CCSR+SUPIR Upscaler EX

Kakudai V1 EX with ollama VerⅡ

修復能力ではKakudai V1に分がありますが、LeMond氏とHinault氏の再現性という点では、CCSR+SUPIRに軍配が上がりますね。私は、それぞれ用途に合わせて使い分けています。

Anyway、SD1.5ベースである為、最大でも4K位が限界のKakudai V1がその範囲では相当優秀であることを改めて感じます。

このプログラムの原型を開発したAI開発グループ「マーベリック」は、メンバー全員東大卒だそうですが、「それ」だけの性能はありましたね。