Stable Diffusion - ControlNet入門(2) ControlNet をダウンロード・準備する

Stable DiffusionによるAI画像生成、新シリーズ「ControlNet入門」の第2回です。

この記事では、ControlNetのインストール方法を解説します。

ControlNet の導入

前のセクションで紹介した通り、ControlNet は AUTOMATIC1111 の拡張機能になっているので、他の Extensions と同じようにインストールすることができます。
ローカルと Colab それぞれの環境での導入方法を解説していきます。

[特急コース] Colabスクリプト版

✨便利なGoogle Colabでの「AUTOMATIC1111」へのリンクは文末に記載しています。AUTOMATIC1111を立ち上げる際に、notebook の『ControlNet』のセルも実行してから『Start Stable-Diffusion』のセルを実行し、立ち上げます。これで準備が整います。

Colabの場合は、これを実行するだけで ControlNet に必要なモデルも全てインストールすることができます。ダウンロードが多いので利用開始まで10分程かかりますが、GPU搭載PCが無い環境でも快適に利用できる利点があります。

ローカル環境の場合のインストール手順

さて、まずは Stability Matrix 等でのローカル環境でのインストールでの利用方法です。最近はApple silicon搭載 Macでも動作確認ができています。

Extensions のダウンロード

まずは ControlNet 本体をダウンロードしましょう。
まずはこのリンク

から、Mikubill氏が公開している ControlNet の AUTOMATIC1111 拡張機能の GitHub ページにアクセスし、緑色の 『< > Code 』と書いてあるボタンから URL 「https://github.com/Mikubill/sd-webui-controlnet.git」をコピーします。

Web UI を開き、『Extentions』タブに移動し、『Install from URL』を開きます。

『URL for extension's git repository』に先ほどコピーしたURL
https://github.com/Mikubill/sd-webui-controlnet.git
を入力し、『Install』ボタンでインストールします。

インストールボタンの下に「Installed into （ファイル名）」のかたちでインストールが成功したログが出力されたことが確認できたら完了です。

モデルのダウンロード

次にモデルをダウンロードしましょう。
ControlNet のモデルは、SD1.5、SD2.0、SDXL それぞれ別のものが公開されており、使用している Stable Diffusion に合ったモデルを使う必要があります。この記事では SDXL 用のモデルをダウンロードしていきます。

lllyasviel 氏の Hugging Face の Files and versionsで、SDXL 用の ControlNet モデルを公開しているページにアクセスします。
https://huggingface.co/lllyasviel/sd_control_collection/tree/main

ここでは、lllyasviel 氏だけでなく StabilityAI が作成したモデルや LoRA の研究で有名な kohya 氏が作成したモデルが公開されています。一部重複しているものもあるので、データが軽いものを選んだり、実際に使って比べたりしてみてください。
それではダウンロードしていきましょう。ファイル名の右にあるダウンロードアイコンをクリックするとダウンロードが始まります。

あまり重くないファイルなので全てダウンロードしても問題ないと思いますが、空き容量が少ない場合はまず試しに Canny をダウンロードして、随時他のモデルも追加してみてください。

ダウンロードが終わったら、モデルファイルを移動させます。
StabilityMatrix-win-x64 > Data > Packages > stable-diffusion-webui > extensions > sd-webui-controlnet >  models
にダウンロードしたモデルを格納しましょう。あまり重くないファイルなので全てダウンロードしても問題ないと思いますが、空き容量が少ない場合はまず試しに Canny をダウンロードして、随時他のモデルも追加してみてください。

ダウンロードが終わったら、モデルファイルを移動させます。
StabilityMatrix-win-x64 > Data > Packages > stable-diffusion-webui > extensions > sd-webui-controlnet >  models
にダウンロードしたモデルを格納しましょう。

終わったらWeb UI を再起動します。これで ControlNet の導入は完了です。

再起動した AUTOMATIC1111/Stable Diffusion WebUIの txt2img タブ、 CFG Scale, Seedの下あたりに「ControlNet 1.1.410」が追加されているはずです。

他にも git clone コマンドを使用したインストール方法もありますが、初心者にはおすすめしないので割愛します！

次回はこの ControlNet の使い方に入ります。

「ControlNetが難しい！」そう思ったあなたにオススメ
img2img 入門シリーズはこちらから。

※本ブログは発売予定の新刊書籍に収録される予定です。期間限定で先行公開中しています。
メンバー向けには先行してメンバーシップ版をお届けします
Stable Diffusionをお手軽に、しかもめっちゃ丁寧に学べてしまう情報をシリーズでお送りします。
メンバーは価値あるソースコードの入手や質問、依頼ができますので、お気軽にご参加いただければ幸いです！

この下にGoogle Colabで動作する「AUTOMATIC1111/Stable Diffusion WebUI」へのリンクを紹介しています。
メンバーシップ向けサポート掲示板はこちら！応援よろしくお願いします！