メインコンテンツへスキップ
見出し画像

[ComfyMaster27] 写真もイラストも線画に！ComfyUIとControlNetによる線画抽出ワークフロー #ComfyUI

    AICU

    デジタルアート制作において、画像から線画を抽出する技術は、イラストのトレースや3Dモデル作成の下準備など、様々な用途で重要性を増しています。特に、AI技術を活用した自動線画抽出は、作業効率の大幅な向上に貢献します。今回は、線画抽出をComfyUIで実現します。

    こんにちわ、AICU media編集部です。
    「ComfyUI マスターガイド」第27回目になります。
    本記事では、ComfyUI、ControlNet、そしてLoRAを組み合わせることで、高品質かつ詳細な線画を効率的に生成するワークフローを紹介します。

    本連載の初回はこちら。前回はこちら、目次はこちらです。

    [ComfyMaster26] ControlNetでイラストを精密に実写化！ #ComfyUI


    1. 概要

    今回は、ComfyUIを用いて画像から高品質な線画を抽出するワークフローを紹介します。ControlNetとLineartを用いて画像から線画を生成し、LoRAを用いて漫画スタイルの線画に仕上げます。
    具体的には、「AnyLine LineArt」ノードで画像から粗い線画を抽出し、それを「controlnet-union-sdxl-1.0」と「LineAniRedmond」LoRAを用いて、より洗練された線画へと変換します。
    このワークフローを使用することで、元の画像の構図を維持しながら、アーティスティックで高精細な線画を生成することが可能です。 様々な画像（アニメ風、実写、建物）を用いた作例も提示し、ワークフローの有効性を示します。

    2. ワークフローの使用準備

    ControlNet

    ControlNetの使用準備については、以下の記事をご覧ください。

    今回は、ControlNetのLineartを使用します。Lineartで粗い線画を抽出し、その後にその線画を低ノイズでサンプリングし、補正をかけます。

    LoRA

    今回は、LoRAに「LineAniRedmond」を使用します。このLoRAは、漫画スタイルの画像を生成してくれるLoRAで、線画の質を上げるために使用します。以下のリンクよりダウンロードし、「ComfyUI/models/loras」フォルダに格納してください。

    使用素材

    今回は、以下の画像を線画にします。

    画像

    以下のリンクから画像をダウンロードしてください。

    3. ワークフローの解説

    以下がワークフローの全体構成になります。このワークフローは、入力画像から高品質な線画を抽出し、それを基に新しい、より詳細で洗練された線画を生成します。ControlNetとLoRAの使用により、元の画像の構造を維持しながら、高度にスタイライズされた線画が作成されます。結果として、元の画像の本質的な特徴を保持しつつ、より洗練された、アーティスティックな線画表現が得られることが期待されます。

    画像

    ワークフローは、文末のリンクよりダウンロードしてください。
    以下に、このワークフローの主要な部分とその機能を図示し、詳細に説明します。

    画像

    1. 入力画像の読み込みと線画抽出

      • Load Imageノード: 「girl_anime_02.jpeg」を読み込みます。

      • AnyLine LineArtノード: 入力画像から線画を抽出します。

        • モード: lineart_standard

        • 解像度: 1280

        • 詳細度: 0.1

      • Image Invertノード: 抽出された線画を反転させます。

    2. モデルとLoRAの読み込み

      • Load Checkpointノード: 「RealVisXl.safetensors」モデルを読み込みます。

      • Load LoRAノード: 「LineAniRedmondV2-Lineart-LineAniAF.safetensors」LoRAを適用します。

        • 強度: 1.0 (モデルとCLIP両方に適用)

    3. ControlNetの設定

      • Load ControlNet Modelノード: "controlnet-union-sdxl-1.0-pro.safetensors" を読み込みます。

      • Apply ControlNet (Advanced)ノード: 抽出された線画を使用してControlNetを適用します。

        • 強度: 0.5

    4. プロンプト処理 (CLIP Text Encode(Prompt)ノード x2)

      • ポジティブプロンプト: 「8k, best quality, masterpiece, ultra detailed, ultra high res, extremely detailed, finely detail, lineart,」

        • 線画が細かくなるように品質向上のタグを設定する

        • 「lineart」は、

      • ネガティブプロンプト: 「colorful, monochrome,」

        • 線画のみになるように、色が付くようなタグを設定しておく

    5. 画像生成 (KSamplerノード)

      • Seed: 474030329745381

      • Steps: 20

      • CFG Scale: 7

      • Sampler: dpmpp_2m

      • Scheduler: karras

      • Denoise: 0.8

    6. 画像のデコードと後処理

      • VAE Decodeノード: 生成された潜在表現を実際の画像にデコードします。

      • Color To Maskノード: デコードされた画像から白色部分をマスクとして抽出します。

      • Save Image With Alphaノード: 最終的に生成された画像をアルファチャンネル付きで保存します。

    AnyLine LineArtの詳細

    AnyLine LineArtノードは、複数の線画検出モデルを使用して入力画像を線画に変換します。このノードの各ウィジェットの意味は以下の通りです。

    • merge_with_lineart: 線画抽出を行う解像度を設定します。以下のモデルから選択可能です。

      • lineart_standard: 標準的な線画用の汎用モデル。

      • lineart_realistic: リアルな画像に特化し、細部を捉えるモデル。

      • lineart_anime: アニメスタイルの画像に最適化され、特徴的な要素を強調します。

      • manga_line: マンガスタイルのイラストに特化したモデル。

    画像

    • resolution: 線画抽出を行う解像度を設定します。デフォルトは512ですが、必要に応じて高解像度や低解像度に調整可能です。高解像度はより詳細な線画を提供しますが、計算資源を多く消費します。

    画像

    • lineart_lower_boundとlineart_upper_bound: 線検出プロセスの感度を制御するためのパラメータです。これらの値を調整することで、線画の細かさや強調具合を微調整できます。

    画像

    • object_min_size: 抽出時に考慮されるオブジェクトの最小サイズを指定し、小さなノイズやアーティファクトをフィルタリングします。デフォルト値は36です。

    画像

    • object_connectivity: 抽出中に接続されたコンポーネントの識別方法を定義します。デフォルト値は1で、オブジェクト間の接続性を決定します。例えば、複数のオブジェクトが接触している画像で、それらを一つの連続した形状として扱いたい場合、このパラメータを調整します。デフォルト値は1で、接続されたピクセルがどのようにグループ化されるかを制御します。（具体的に抽出される線画にどのような影響があるのか不明）

    4. 生成結果の確認

    以下が生成結果になります。背景は抽出できていないですが、前面の人物は線画に変換できています。

    画像

    出力される画像は、背景が透過画像となっているので、抽出元画像と重ねて表示してみました。元画像に比較的忠実に抽出されていることが分かります。

    画像

    他の画像でも試してみました。

    画像

    実写からの線画抽出例です。こちらも綺麗に抽出できています。

    画像

    建物から線画を抽出してみました。かなり細かいところまで線画として抽出できています。

    画像

    5. まとめ

    本記事で紹介したワークフローを用いることで、ComfyUI、ControlNet、LoRAの連携による高品質な線画抽出が可能になります。AnyLine LineArtノードによる柔軟な線画抽出、ControlNetによる精密な制御、そしてLineAniRedmond LoRAによる画風調整といった各要素が組み合わさり、様々な画像に対して精緻でアーティスティックな線画生成を実現します。アニメ風、実写、建物といった多様な画像例からも分かるように、このワークフローは幅広い用途に応用できる強力なツールとなります。今後のデジタルアート制作において、本記事で紹介したワークフローが、より効率的で創造的な作品制作の一助となることを期待します。

    次回は、ラフ画から画像生成の方法を紹介します。乞うご期待！
    今後の連載は以下のような内容で続きます！

    全リストはこちら

    動画で学びたい方はこちら！


    #ComfyMaster #ComfyUIマスター
    #AI画像生成 #AIとやってみた



    X(Twitter)@AICUai もフォローよろしくお願いいたします！

    画像生成AI「ComfyUI」マスターPlan

    画像生成AI「Stable Diffusion」特に「ComfyUI」を中心としたプロ向け映像制作・次世代の画像生成を学びたい方に向けたプランです。最新・実用的な記事を優先して、ゼロから学ぶ「ComfyUI」マガジンからまとめて購読できます。 メンバーシップ掲示板を使った質問も歓迎です。

    • メンバー限定の会員証が発行されます

    • 活動期間に応じたバッジを表示

    • メンバー限定掲示板を閲覧できます

    • メンバー特典記事を閲覧できます

    • メンバー特典マガジンを閲覧できます

    • 動画資料やworkflowといった資料への優先アクセスも予定

    【書籍化】「ComfyUIマスターガイド」
    http://j.aicu.ai/comfysb

    【今すぐ使えるComfyUI】
    https://aicu.jp/comfyui

    【月刊AICUマガジン】「つくる人をつくる」クリエイティブAI専門誌、毎月魅力的な特集や深掘りお送りします[Kindle Unlimitedで無料]
    https://j.aicu.ai/kindle

     
     

    AICU

     
     
    生成AI時代に「つくる人をつくる」をビジョンに活動する日本最大のクリエイティブAIコミュニティ。 AIクリエイターさんとともに、「わかるAI」を伝えていきます。

    あなたへのおすすめ