ControlNetを使ってめちゃくちゃダークな絵を描いてもらおう！

2023年10月31日 23:55

今回は『ノイズ/テクスチャ法』を簡素化したテクニックを一つご紹介。
特定の色を指定することで、StableDiffusionの苦手とする"暗い絵"を出力できるようにします。

ごあいさつ

ハッピーハロウィン！
ご無沙汰してます。御月望未みつきのぞみです。

みなさんホラーは好きですか？　へぇ～お好きですか！それはよかった！
今回はハロウィンにちなんでホラーにばっちり、"暗い絵"を出力するためのテクニックのご紹介です。

イラストAIにどっぷりはまっているお兄様お姉様ならご存じの事と思いますが、StableDiffusionくんは暗い絵が苦手……！
出せない事はないのですが、夜を指定しても明るい照明が描かれてしまったり、背景は暗くなっても人物が明るく照らされてしまったりと、本格的にダークな絵を出そうとすると四苦八苦してしまうことがしばしば……

（テクニック未使用）普通に生成した場合、夜の街を指定しても結構明るくなっちゃったりします

しかしそれはきっとテキストエンコーダやノイズの都合……！
SDくんのUnetには暗い画像の特徴量も埋まっているはずだ……！
というわけで、今回もControlNetを使って深淵を覗いてみましょう。

ホラーが苦手な方もご安心ください！
今回テクニックはただの暗所や憂鬱な雰囲気の絵、あるいは逆光のかっこいい絵や、日向と日陰のコントラストの強調など、いろいろと応用が可能です！
更に応用すると逆に「明るくして！」と注文することもできます！

普段ではなかなか出せない色調のイラストを、簡単設定で出してもらえるようなりますので、ぜひお試してください！

ちなみに参考画像はホラー風くらいで、本格的に怖いのは　たぶんやりません。
心配な方は……明るさMAXでご覧ください！

作例

ControlNet 0: "Module: none, Model: tile, Weight: 0.75, Guidance Start: 0, Guidance End: 0.1

綺麗なイラストができました！素敵な暗さです。
使い方は簡単！お望みのプロンプトを入れた後、ControlNetのtileモデルに、上の真っ黒な画像を読み込ませて、パラメータを調整するだけです！

ざっくり言うとやっている事はノイズ法やテクスチャ法と同じなのですが、今回はノイズやテクスチャではなく、ただの単色画像を読み込ませるのがポイントです。簡単でいいですね！

ちなみに本テクニックなしの同じ条件で出力した画像がこちらです。
大幅に色調が変化している事が見て取れます。

解説

・パラメータについて
プロンプトは、"1girl, solo"など、普段お使いのイラスト向けプロンプトを使用してください。その上で、"night"や"backlighting"など、影を落とす言葉を指定するとより暗めの画像に仕上がります。
またネガティブに"lamp"を入れるなどして、光を連想させる要素を消すとより万全です。

通常通りの生成設定が終わったら、ControlNetを設定します。
ControlUnitを1つ有効にして、プリプロセッサをnone、コントロールモデルをtileに設定してください。
その上で上記の真っ黒な画像を読み込ませて、パラメータをWeightを0.75、Startingを0、Endingを0.1くらいに設定すればOKです。（特にEndingを下げる事をお忘れなく！）

・仕組みについて
ControlNetのtileは「画像をキャンバスに転写する」ような働きを持ちます。
今回の設定は「作画行程の0-10％の間、キャンバスを黒で上塗りする」というような動作になっています。
SDくんが絵を描くときに使うパレットを勝手に黒く塗りつぶしているような感じですね。画材がなければ明るい絵を描きたがるSDくんもしぶしぶ暗い絵を描かざるを得ないという寸法です。

なので上の黒いテクスチャ画像には特別なデータが埋まっている……という事はなくて、黒い画像なら何でも大丈夫です！

今回のテクニックは明るさを直接変更しているのではなく、"画像を黒っぽくする"事で暗さを実現しているので、「服などが黒になりがち」という副作用もあります。変更したい場合はプロンプトで色を指定しましょう。

この辺の動作について詳しく知りたい方は、ベースになっているテクニック、ノイズ法の記事をどうぞ！

ノイズ/テクスチャ法との一番の大きな違いは、使用するControlNetが1つのみという点ですね。
今回は描き込み量を増やす目的がなく、黒を転写することだけが目的なので、色を転写する働きのあるtileのみを使用しています。
色の転写が目的なので、inpaintも使用できます（第三回参照）。shuffleも使えますが……今回は多分tileと変わらないと思います。
描き込み量を増やしたい場合はlineart_animeなどと併用しても大丈夫です。

・TIPS
tileのパラメータは、Weight1.0, Start0.0 - End0.1をベースに考えると良いと思います。
画像が暗すぎる場合はWeightを0.75、0.0-0.05に下げるとか、
逆に明るすぎる場合はEndingを0.15に延ばすなどで調整してみてください。

メモ

（上）本テクニックで生成した画像
（下）上の画像の明るさを編集ソフトで引き上げたもの

効果が強く掛かった暗い画像の明るさを調整して検証してみました。
さすがに細部が黒つぶれしちゃってるかも……と思っていたのですが、意外にも暗闇の中までしっかりと描き込んでくれている事がわかります。
黒つぶれや白飛びを気にせず思いっきり遊べるって事ですね！
これがSDくんのポテンシャル……！Unetにうずもれていた可能性……！

ふっ……またAIくんの可能性を引き出してしまったな……
AIくんはそろそろ僕の事恩人として養ってくれてもいいですよ？

題材を探そう！

解説はおしまいです！ここからは実践だ！

暗いお部屋の中

暗い絵を描けるようになったのですから、題材に光を取り入れてみましょう！いきなり矛盾することを言うようですが、光あってこその闇……！

本テクニックは明るい部分と暗い部分のコントラストを強調できるのがメリットなので、windowやsunbeamsなどの光を取り込める言葉をプロンプトに盛り込んでみましょう。

また、人物を暗くしたい場合はbacklighting（逆光）を入れると人物に影が落ちて落ち着いた絵になります。ただ"back"と"lighting"の成分がそれぞれ漏れて、後ろ姿になったり光量が不安定になったりする気がするので、僕は類語のcontre-jourコントレジュを使ってます。ご参考までに！

室内を暗くしたまま綺麗な青空と窓から差し込む光を描けました。
モデルは積極的に明るい場所を描こうとするので、光と関連するプロンプトを入れるとその部分だけ明るく描いてくれるんですね。うーん綺麗です！

また、暗くする事で絵柄にも影響が出ます。このイラストは"sky"を指定しているのですが、tileから転写された黒が干渉してか「暗い空」ということで曇り空が描かれています。同様に星空になったり、色によって描かれる物が誘導されるのはテクスチャ法と同じですね。
確実に明るいお空を描きたければ"blue sky"など、昼であることが自明なプロンプトを使用すると良いでしょう。

ともすればちょっと"効き過ぎ"なこの手法ですが、WeightやEndingを弱めにかける事で、ほどよい暗さ程度にする事もできます。かわいいですねぇ。
右脚周りがちょっと崩れてしまっていますがこれはモデルの特性そのままかな……？僕はt2t一発撮って出しがメインなので修正はあまり詳しくありませんが、この程度なら切り抜きからのinpaintですぐ修正できそうです。

もっと！暗いお部屋

窓から落ちる光が綺麗です。light particle系のプロンプトも相性がいいですね

いいですね～。悲しそうな横顔、光と影、朝という動の世界の中、静であり続ける女の子……
絵として大変良いのですが、見ていたらなぜだか動悸がしてきたのでこの題材はこの辺にしておきましょう。

題材を考えよう！

暗いお部屋の中や、対比するような明るい窓の外を描ける事がわかりましたので、それを踏まえてどんな絵が出せるか想像してみましょう！

たとえば『教会で祈りを捧げる人』なんてどうでしょう？
真っ暗な礼拝堂にステンドグラスが輝いて光が差し込むシチュエーション……綺麗そうです！
他にも雰囲気のあるナイトキャンプ、きらびやかなルーフトップバー、あるいはギラギラと輝く太陽に照らされた砂浜と相対的に真っ暗に見える海の家の中、なんかも絵になりそうです。
陰影を強調したいシチュエーションには本テクニックはぴったりです！

うーん見てみたいシチュエーションが多すぎて作例を作りきれませんね。

今回はそうだなぁ……やっぱりハロウィンですしホラーをやりたい！
っていうかホラーが好きだよねぇ！
今回は"暗い画像"がテーマなので、とことんまで行ってみましょう！