絵が2枚のみのデルタもんをAIで完全再現に挑戦

東北ずん子の原作者である榊正宗さんが、AI画像生成普及用にデルタもんというキャラを作成されました。

元々東北ずん子に影響されて「渚の妖精ぎばさちゃん」というキャラを作ったりしているので、これは私も乗らないと！

現時点で提供されている画像はちょっとラフな感じの二面図のみ。本来だとまだLoRAにするには画像の枚数が足りないのですが、あえて「現時点の画像だけからどれだけ完全再現できるLoRAを作れるか」に挑戦してみました！

デルタもん再現に挑戦！

出来は？

まずどういう結果になったかですが、はっきり言ってかなり良い感じと思います！

アニメーションさせるとさすがにデザイン要素が飛びがちですが、かなり再現度は高いと思います。キャラのコンセプト的には絵柄再現は特に求められていないと思いますが、今回は絵柄も含めた完全再現を目指してやっています。

枚数少ないところからのLoRAの作り方

私のキャラの「渚の妖精ぎばさちゃん」のLoRAを作ったときの手法を応用してやってみました。

これは1枚絵からむりやりLoRAを作るための手法なんですよね。コピー機LoRAをヒントにした手法です。ただ、コピー機LoRAは背景も同じになってしまう！そこで、「1枚絵の背景を変えたものを複数学習」の形にすることで背景を変えられるようにしています。さらには画像にちょっとだけ角度を付けて、LoRAを作るというもの。それで同じ絵柄とデザインを保ったうえで背景を変えられるようにした上で、少しだけ表現に幅が出るのです。

応用といっても今回もっと簡単にしています！上の記事ではDreamGaussianを使って角度を変えていますが、今回はそんなことやっていません。後ほど説明しますがもっと簡単です！

こちらは実際のLoRA用素材です。

角度は±5度の範囲に収まるようにしています。あまり角度を付けたものを素材にすると作画崩壊しがちなんですよね。

パーツ拡大画像のポイント

当然素材はこれだけではないです。背面用もありますし、パーツごとのクローズアップも素材にしています。

このパーツごとのクローズアップが味噌なんですよ！全身像は±5度の範囲ですが、こちらはもっと思いっきり角度を付けています。

頭や胴は思いっきり角度を付けたものをLoRA素材に入れると作画崩壊しがちなんですが、手足は角度を付けて大丈夫です！

また、各パーツの画像は余計な要素が移りこまない方が良いです。この腕の画像でも胴体やランドセルを消しています。そうしないと回転させたときにおかしいですからね。

また、各画像にはシンプルですがキャプションはつけています。

特にパーツの拡大の時はラフ画像っぽさが目立つので、「sketch」と入れています。

こうすることで、ネガティブプロンプトに「sketch」と入れればラフ画像っぽくなるのを抑えられます。

先ほどの再現結果画像はこれだけで作成したLoRAでのものです。

LoRA強度が低くても再現性が高い

元画像が2枚だけなのでLoRA強度が1だとほとんど元画像と同じポーズにしかなりません。そこで0.5くらいにするといろいろなポーズを取ってくれるように！

これは強度0.5でinpainting等なしのポン出しです。

通常LoRA強度を下げるとデザイン要素もどんどん消えるのですが、回転手足画像を入れておくと、何故かあまりデザイン要素が消えなくなります！また、消えたとしてもinpaintingするとデザイン要素が復活することが多いです。

憶測ですが回転させたパーツがあることで、ポーズを取らせる際の画像を補いやすくなっているのかもしれません。

LoRAを育てる

で、このLoRAはさらに育てられるんですよ！良い感じで出た画像はLoRA素材に追加していけばOK！

デルタもんLoRAはまだ育ててないのですが、同じく画像2枚からはじめたぎばさちゃんの場合を見てみましょう。

ぎばさちゃんはハッキリ言ってデルタもんよりはるかに難度が高かったです！

というのも、素材画像のどちらものが同じような角度の画像の上に、表情もどちらも笑顔。しかも、座っている方は手に箸とご飯をもっているという学習には邪魔なオブジェクト付き！

それでも、ControlNetを駆使したりして、いろいろな構図の生成結果をさらにLoRA素材にしていきました。そうすることで、絵柄を保ったままいろいろなポーズができ、さらにはControlNetでも実現が難しい絵柄を保ったまま表情を変えることまでできるようになります。まさしくLoRAを育てる！

素材と全然違うポーズもできる！

絵柄を保ったまま表情も変えられる！

LoRAの育て方のほうについてはまた別途記事を書こうと思います！

というわけで、皆さんも楽しいLoRA作成ライフを！