[ComfyMaster61]Blender × ComfyUIでAI生成テクスチャをつくってみた
今回は、オープンソースで無料で使える3DCGツール「Blender」で画像生成AIツール「ComfyUI」を使って、テクスチャをつくる方法を紹介します。
こんにちは、martina.です。普段はメタバース・3DCG関連のお仕事をしているAICUコラボクリエイターです！
前回の記事はこちら
私自身、ComfyUIは「名前だけ聞いたことある」状態からの挑戦だったので、やったことを初心者向けに書いていきたいと思います！
この記事を読めばきっとやってみたくなること間違いなし⁉︎です！
✅ この記事でできること
ComfyUI × Blender の連携手順がわかる
テクスチャをAIで自動生成する方法がわかる
Blender上で生成した画像をテクスチャとして使うことができる
「実際やってみたリアルな感想」が読める！
🛠 使用したもの
GPU搭載 Windows11 (Macでの動作も紹介します)
Blender（公式サイトから最新版をDL）
ComfyUI（画像生成AIのローカルサーバー）
ComfyUI-BlenderAI-node（Blenderと繋ぐアドオン）
🔌 セットアップの流れ
1. ComfyUI-BlenderAI-nodeをダウンロード
GithubからComfyUI-BlenderAI-nodeのZipファイルをダウンロード。
2. Blenderにアドオンを入れる
Blenderを起動して、編集 → プリファレンス → アドオン に進み、Installから 先ほどダウンロードしたComfyUI-BlenderAI-nodeのZipファイルを読み込み。
インストール後、「ComfyUI-BlenderAI-node」にチェックを入れて有効化！
[N]キーを押して出てくるNメニュー（画面右側）に「AI」タブが出てくればインストール成功です！
💡最新版以外のBlenderだとエラーが出て有効化できない場合があります。
最新版（3.6以上）にアップデートして試してみてください！
3. ComfyUIをダウンロード
画像生成AIをローカルサーバーとしてインストールします。様々な方法がありますが今回は公式リポジトリから ComfyUI Windows Portable をダウンロードします。Stability Matrixによるインストールやソースコードからのインストールなど様々な方法があります。
画面を下の方までスクロールさせInstallingからDirect link to download のリンクをクリックしてファイルをダウンロードします。
7zip形式ですが、Windows11なら右クリックで「すべて展開」で解凍できますので、任意のわかりやすい場所に保存します。
例：C:/ComfyUI_windows_portable
中にあるrun_nvidia_gpu.batをダブルクリックして起動します。
⭐︎ソースからのインストールや Stability MatrixでのインストールでもAPIが使えればいけそうではあります。
英語マニュアルはこちら
https://docs.comfy.org/installation/comfyui_portable_windows
ステップ1：モデルファイルを入れる
ComfyUIはモデル（学習済みAI）を使って画像を生成します。
モデル（.safetensors など）を用意
ComfyUI_windows_portable/ComfyUI/models/checkpoints/ フォルダに入れる
💡 モデルがないと画像生成できません！
この辺りがわからない人は、過去の連載を読みましょう
（意外と超初心者向けの記事を探すのは難しいのでこちらの書籍もどうぞ）
ステップ2：ComfyUIとBlenderをつなぐ
ComfyUIを run_nvidia_gpu.bat から起動すると
http://127.0.0.1:8188
にComfyUIの画像生成サーバーが起動します。
ここでBlenderで「ComfyUI Node」パネルを開きます。
右側のComfyUIタブを開き下記を設定します。
Server Type：LocalServer に設定
ComfyUI Path：ComfyUI.exeがあるフォルダパスを指定（自動で入ることも）
Python Path：同梱されてる python_embedded/python.exe を指定
Launch/Connect to ComfyUIをクリックして上部に「↓↓ComfyUI Not Launched, Click to Launch↓↓」と表示されていればまだ未接続です。
成功すれば表示が消えます。
↑未接続の場合
↑接続成功している場合
ステップ3：画像生成ノードの組み方（基本構成）
下記のようにノードを組みます。
各ノードの詳細を簡単に記載します！
初心者の方は、真似してみてください！
ダブルクリックするとノードが作れます。
CheckpointLoaderSimple：モデルを読み込みます
ノード上でダウンロードしたモデルを選択できます
CLIPTextEncode：テキストプロンプトを入力
空欄部分に生成したい画像のプロンプトを英語で書きます
（2つとも同じプロンプトを入れてください）
KSampler：画像生成のパラメータを設定
EmptyLatentImage：画像サイズ（例：512x512）を指定
VAEDecode：画像を復元する
SaveImage：画像を保存する
画像の保存先を設定します
設定完了！
あとは Execute Node Tree をクリックすれば、画像が指定したフォルダに出力されます！
