[ComfyMaster42] Google Colabで快適！ComfyUI トラブルシューティング

大人気連載「ComfyUIマスター」、今回から"フォローアップ編"が始まります。「わかっているつもり」の画像生成ですが、初心にかえって初心者に戻ってみることで得られるものも多いですし、「商用ツールと何が違うの？」といった根本的な価値も意味も、再度学び直してみると気がつくことが多くなります。「ComfyUIマスター」は「教えられるレベル」を目指していきます。

さてフォローアップ編 初回は環境設定について。「ComfyUIをはじめてみたいけど、GPU搭載のWindowsPCが必要なんですよね…？」という質問を時々いただきます。そんな事はありません！
AICU編集部では以下のような環境でComfyUIを解説しております。

＜おすすめ順＞簡単に表現すると以下の３種類になります。

(1)Google Colabによるプロ向けGPU環境
(2)Windows PCへの「Stability Matrix」による利用
(3)AWS/GCPへのインストールを利用(企業向け)

(1)Google Colabによるプロ向けGPU環境

まずMac環境などでは（いくらMシリーズのApple製プロセッサーが優秀でも）まともにStable Diffusionが動きません。1画像生成あたり数分かかっても良いようであれば問題はないのですが、そのような使い道であれば現在であればChatGPTで利用できるDall-3EやXで利用できるGrokがあります。
そして、実はGoogle Colabでの ComfyUI は無料で試せます。A100、L4、T100といった100万円以上するGPUを無料で利用できます。無料枠の明確なルールは明示されていないのですが、AICUの様々なケース、ワークショップなどでの実験で「ComfyUIに関しては無料で1日は使える」という状況から、AUTOMATIC1111の頃に比べると規制は緩和されているという理解です。さらにGoogle Colab Proの有料プラン、最低金額は「1,179円」で使えます。しかも毎月課金ではなく"Pay As You Go"を選べば100コンピューティングユニット（90日有効）です。今すぐ使いたいけど、来月は絶対使わないかもしれないな、という方は「Pay As You Go」がおすすめです。

GPUをT100を選ぶとVRAMは15GB、ハイメモリを選択すると51GBのメモリが利用できます。L4だとメモリ53GBに22.5GBのVRAM、A100だと83.5GBのメインメモリにVRAMが40GBです。料金はコンピューティングユニット(CU)で計算することができ、それぞれ1時間あたり1.66CU, 4.06CU, 10.13CUと異なります。つまりA100では1ヶ月あたり10時間程度、T100なら60時間利用できます。またColab Proを選ぶと複数のランタイムを同時に利用できます。バックグラウンドで処理することも可能です（一方で、放置しておくとCUを無駄に消費することもあるので注意です）。

(2)Windows PCへの「Stability Matrix」による利用

SD黄色本でも活用してきた「Stability Matrix」もおすすめです。
VRAMを4GB以上搭載しているPC環境であれば良い選択肢になるでしょう。CPUのみの環境でも適切なセットアップを行ってくれるのが嬉しいです。
最新版は v2.13.2です。アップデートや起動オプションを管理しやすく、またおすすめのモデルなども紹介してくれる良さがあります。

AICUでは高性能デスクトップPCに Stability Matrixをインストールし、リモートデスクトップやVPNを使って外部から利用できるようにした環境を作っています。

(3)AWS/GCPへのインストールを利用(企業向け)

ComfyUIをアニメスタジオや漫画スタジオといったプロフェッショナルの現場で使うことも多くなってきました。そのような場合はAWSやGCPといったクラウドGPUへのインストールも良い選択肢です。Google Colabでの起動と異なり、いつでもすぐに利用できる利点があります。
★システムの構築についてはAICUにご相談いただけると幸いです。プロ向け、チーム向けの構築となると、単にComfyUIを使えるようにすればいいという話ではなくなる部分もあります。

インストールするべきモデルやファイルの保存場所といった設定、運用コストを適切にする設定など多様にあります。

さらに「ComfyUI Manager」を使ってセットアップや運用を簡単にしていく方法など、オープンソースの活用や保守は多岐にわたります。

ControlNet Tileを使った高解像度化を使った演習

さてプロフェッショナル向けのお話もしてしまいましたが、フォローアップ編です。前回の高解像度化を例に、詰まりやすいポイントを自分で解決していくテクニックを身に着けていきましょう。

★LLMに聞いてもわからないことが多いと思います、GUIなので…！

初心者向けファーストステップガイド

Google ColabでのComfyUI起動についてよくわからない方はこちらをどうぞ
【復習】[ComfyMaster1] Google ColabでComfyUIを動かしてみよう！

今回使用するノートブックはControlNetを含めたComfyUIのインストールです。購読者向けにGoogle Colabスクリプトも用意しておりますのでご活用ください（文末）。

トラブルシューティング編

入手したワークフローを開くと「赤いノードがいっぱいでてくる！」そんなときは…？

もし右上に「ComfyUI Manager」があるようでしたら（AICU提供の環境であればインストールされています！）で、「Install Missing Custom Nodes」を選びます。暫く待つと、このように不足しているノードを自動で準備してインストールを確認してくれます。これは便利。

再起動が必要なノードの場合は「Restart」を選びます。

画面が白くなった場合はF5キーでリロードしましょう。
起動しなくなった場合はGoogle Colabのタブに戻って、最後の「ComfyUIの起動」を一度止めて実行し直し直しましょう。
Starting server
To see the GUI go to: http://127.0.0.1:8188
が表示されたら、再度ComfyUIのブラウザ画面に戻りF5でリロードできます。

さらに足りないモデルや画像を読み込んでいきます。

Prompt outputs failed validation
CheckpointLoaderSimple:

• Value not in list: ckpt_name: 'RealVisXL_V5.0_Lightning_fp16.safetensors' not in ['RealVisXL_V5.0_fp16.safetensors', 'sd_xl_base_1.0.safetensors', 'v1-5-pruned-emaonly.ckpt']
  LoadImage:

• Custom validation failed for node: image - Invalid image file: real_girl_06.jpg

画面左の四角いボックスのアイコン「MODEL LIBRARY」を確認してみましょう。

この画像の場合、
・RealVisXL_V5.0_fp16.safetensors
・sd_xl_base_1.0.safetensors
・v1-5-pruned-emaonly.ckpt
この3つはあるけど、今回のワークフローで求められている「RealVisXL_V5.0_Lightning_fp16.safetensorsはないよ！」、というエラーです。もちろんダウロードして入手してもよいのですが、その場合は、一度Google Colabに戻って停止することも選択肢に入れます（そのほうが速くて安全なので）。
まずは一旦便利な「ComfyUI Manager Menu」を使って検索してみましょう。

「Model Manager」で検索してきて表示されるモデルであれば、ここからインストールできますが、今回は検索結果にはありません。

となると、いちばん簡単な解決方法はLoad Checkpointをクリックして、近い結果を生成する「RealVisXL_V5.0_fp16.safetensors」を選択して進めることでしょう。

ちなみにLightningとはSDXLの改善版で高速ですが、結果が殆ど変わらないので今回のアップスケール目的では特にどちらを選んでも問題はなさそうです。

どうしても同じモデルを使いたい場合はこちらのURLから checkpointファイルダウンロードをして、Google ColabのDriveにアップロードします。

アップロード先は、デフォルトの設定であれば
MyDrive/ComfyUI/models/checkpoints
になります

ただしこのファイルは6.50GBもあります。
「なかなかダウンロードとアップロードが終わらない！」「でもDownloadすべきURLはわかっている」そんなときは、いったんGoogle Colabを止めて、直接Colabからダウンロードしていきましょう。

Civitaiの場合は最近の仕様変更で直接ダウンロードできるURLは見えなくなりました…が、実はよく見ると、HuggingFaceでのモデルの配布先が公開されています。

https://boosty.to/sg_161222

作者の SG161222 さんに感謝！
そしてこちらがHuggingFaceでのモデル配布場所です。

モデルのダウンロードリンクを右クリックして「リンクのアドレスをコピー」します。

このURL「https://huggingface.co/SG161222/RealVisXL_V5.0_Lightning/resolve/main/RealVisXL_V5.0_Lightning_fp16.safetensors?download=true」のうち「～.safetensors」までが重要です。

「各種モデルのダウンロード」から「ComfyUIの起動」の間に移動して「＋コード」とすると、新しくコードセルを挿入できます。

ここにサンプルに倣って !wget コマンドでダウンロードできるURLを記述すれば指定ディレクトリにGoogle Colabから直接ダウンロードできます。

以下はコードセルへの記述例です。

なお wgetのオプション「-c」は「途中までダウンロードされていたら続きをダウンロードする」で、「-P」は「指定ディレクトリに保存、ただしリモート・ディレクトリの構成要素を無視する」という意味になります。
最後の path（保存先ディレクトリの位置）が長いのは、フルパスという絶対的な住所表記のためです。長時間放置しているとGoogle Colabのセッションがが止まってしまったり、セルの実行順序によっては予想外の場所にダウンロードしてしまうことがありますので、念の為です。

pathの取得方法は、以下のとおりです。
左側のフォルダアイコンで「ファイル」を表示して、Drive→MyDrive→ComfyUI→models→checkpointsで右クリックして「パスをコピー」すると「/content/drive/MyDrive/ComfyUI/models/checkpoints」が手に入ります。wgetにわたすときには「checkpoints/」という形で最後のスラッシュまでいれるのを忘れずに。このスラッシュはファイル名とディレクトリ名を見分ける重要な一文字です。

ダウンロードが終わったら、再度「ComfyUIを起動」します。

最後に「Load Image」のノードですが、これは画像ファイルを読み込み忘れていると赤い状態になります。「Choose file to upload」でこちらのサンプル画像をダウンロードして保存してから読み込んでみましょう。もちろん皆さんの所有する（著作権がある）画像ファイルで試してみていただいて構いません。

【書籍化】「ComfyUIマスターガイド」
http://j.aicu.ai/comfysb

【今すぐ使えるComfyUI】
https://aicu.jp/comfyui

【月刊AICUマガジン】「つくる人をつくる」クリエイティブAI専門誌、毎月魅力的な特集や深掘りお送りします[Kindle Unlimitedで無料]
https://j.aicu.ai/kindle

ControlNetが使えるGoogle Colab起動スクリプトとおまけ画像、スクリプトはこちら