img2img入門(6)インペイント応用編

シリーズでお送りしている 「img2img」入門。
画像から画像を生成する技術を丁寧に学んでいます。

この記事では、前のセクションで解説したインペイントの応用的な使い方について解説します。
＜前回＞img2img(5)「インペイントの基本」

表情を修正する

前のセクションでは、Inpaintで一部分を塗りつぶし、プロンプトを指定して新しい画像を生成できることを解説しました。
これを利用することで、イラストの表情のみを変えることができます。実際にやってみましょう。
まずは元となる画像を生成します。

プロンプト　masterpiece, best quality, ultra detailed, 1girl, v, upper body, 
ネガティブプロンプト　worst quality, low quality, normal quality, easynegative, NSFW,

この画像の口元を笑顔にしてみましょう。
Inpaintで口元を塗りつぶし、生成します。

プロンプト　masterpiece, best quality, ultra detailed, smile,
ネガティブプロンプト　worst quality, low quality, normal quality, easynegative,

笑顔にすることができました。

しかし今回、Inpaintで生成し直した部分の肌の色が変わってしまいました。このようにInpaintの境界が目立ってしまう時には、『Mask blur』を調整すると軽減されることがあります。

これは、Inpaintで塗りつぶした境界をどれだけぼかすかの設定をするパラメータです。
デフォルトは4ですが、大きい値を指定すると境界がぼやけ、色の差などが目立たなくなります。
30に設定して生成し、比べてみましょう。

左がMask blur:4、右が30です。
並べるとかなり印象に差があることがわかりますね。必要に応じて調節していきましょう。

img2imgの設定を確認する

コントラストがあまりにi2i前後で違いすぎる場合は、「settings」の「img2img」にある「Apply color correction to img2img results to match original colors.」（img2img の結果に色補正を適用し、元の色と一致させる）というチェックボックスがONになっているかどうか確認してください。このグループの設定項目は他にも

他の設定項目も参考までに紹介しておきます。

・インペイントの状態マスクの強さ
・img2imgのノイズ乗数
・img2img と hires fix 用の追加ノイズ乗数 (0 = 無効 (デフォルト); ノイズ除去強度より低くする必要あり)
・img2img の結果に、 元の色 と 一致す る よ う 色補正を適用 し ます。
・img2img で、 スライダが指定したス テ ッ プ数を正確に実行 (通常は、ノイズ除去が少ないほど、より少ないステップ数で処理します)
・入力画像の透明部分を塗りつぶし色の指定（デフォルトは白）
・イメージエディタの高さ（ピクセル単位）
・スケッチ初期ブラシ色
・インペイントマスクブラシの色
・インペイントスケッチの初期ブラシ色
・グレースケールのマスクをウェブ用の結果に含める
・Web用の結果にマスクされた合成結果を含める
・最初の N バッチの img2img の結果を UI に表示 (0: 無効、-1: すべての画像を表示。画像が多すぎるとラグが発生します)

設定が終わったら「Apply settings」を押してWebUIを再起動します。この時点での作業は失われる可能性があるので気をつけてください。

手を修正する

次に手の修正に挑戦してみましょう。皆さんご存じの通り、Stable Diffisionで生成された手には、指が多かったり変な方向に曲がっているといったことが頻繁に起きます。そこでInpaintを利用し、違和感を減らしていきます。今回の画像はピースサインの指が絡まってしまっているので、塗りつぶして修正してみましょう。

プロンプト　masterpiece, best quality, ultra detailed,  v
ネガティブプロンプト　worst quality, low quality, normal quality, easynegative, 

かなり違和感が軽減されています。

まだ指が多いのと関節に違和感がある印象ですが、細かい部分はペイントソフトで上書きして修正してしまうのも1つの手段です。

アクセサリーを追加する

髪飾りやアクセサリー、リボンが足りない時は、生成したい場所にInpaintを使用するとそれらの小物を付け足すことができます。それでは右耳にイヤリングを追加してみましょう。

耳たぶから下にかけて、イヤリングを加えたい部分を塗りつぶします。
今回は星形のイヤリングを生成してみます。
プロンプト　masterpiece, best quality, ultra detailed, star earring, 
ネガティブプロンプト　worst quality, low quality, normal quality, easynegative, 

生成されました。

これを応用することで、ヘアピン（hairpin）、タトゥー（tattoo）、上着（cardigan）なども付け加えることができます。

このように、細かい部分が上手くいかないとき、小物を付け足したい時にはInpaintを使ってみてください。

並べてみました

間違い探しゲームにも使えそう⁉

次回は「アウトペインティング」です！

https://note.com/aicu/n/n8e03ec356736

※本ブログは発売予定の新刊書籍に収録される予定です。期間限定で先行公開中しています。
メンバー向けには先行してメンバーシップ版をお届けします
Stable Diffusionをお手軽に、しかもめっちゃ丁寧に学べてしまう情報をシリーズでお送りします。
メンバーは価値あるソースコードの入手や質問、依頼ができますので、お気軽にご参加いただければ幸いです！

この下にGoogle Colabで動作する「AUTOMATIC1111/Stable Diffusion WebUI」へのリンクを紹介しています。
メンバーシップ向けサポート掲示板はこちら！応援よろしくお願いします！