メむンコンテンツぞスキップ
芋出し画像

画像生成AIの指に関する研究 #1 - 䜕故AIは指が苊手なのか

    ずヌふのかけら

    はじめに

    画像生成AIでは、指の描画に倧倉苊慮する堎面が倚く芋受けられたす。
    NegativeTIやLoRA、LyCORISなどで指に関しおの改善案が日々研究されおいたす。

    では䜕故、そもそもAIは指の描画が苊手なのかを玐解き぀぀、別のベクトルから改善できるかを暡玢しおいきたしょう。

    たた、この蚘事はシリヌズ化する予定です。本蚘事では完結したせん。

    䜕故、AIは指が苊手なのか

    AIず人間の思考回路

    これを玐解くのは、Stable Diffusion、たたはLatent Diffusionの孊習抂念ずノむズ画像から埩号化するために䜿甚されるU-Netの凊理が絡んできたす。

    U-Netに぀いおは、以前階局マヌゞの時に説明したした。

    画像
    出兞元U-Net: Convolutional Networks for Biomedical Image Segmentation - Fig.1 https://arxiv.org/pdf/1505.04597.pdf

    Fig. 1. U-net architecture (example for 32x32 pixels in the lowest resolution). Each blue
    box corresponds to a multi-channel feature map. The number of channels is denoted
    on top of the box. The x-y-size is provided at the lower left edge of the box. White
    boxes represent copied feature maps. The arrows denote the different operations.

    as input. First, this network can localize. Secondly, the training data in terms
    of patches is much larger than the number of training images. The resulting
    network won the EM segmentation challenge at ISBI 2012 by a large margin.

    Obviously, the strategy in Ciresan et al. [1] has two drawbacks. First, it
    is quite slow because the network must be run separately for each patch, and
    there is a lot of redundancy due to overlapping patches. Secondly, there is a
    trade-off between localization accuracy and the use of context. Larger patches
    require more max-pooling layers that reduce the localization accuracy, while
    small patches allow the network to see only little context. More recent approaches
    [11,4] proposed a classifier output that takes into account the features from
    multiple layers. Good localization and the use of context are possible at the
    same time.

    In this paper, we build upon a more elegant architecture, the so-called “fully
    convolutional network” [9]. We modify and extend this architecture such that it
    works with very few training images and yields more precise segmentations; see
    Figure 1. The main idea in [9] is to supplement a usual contracting network by
    successive layers, where pooling operators are replaced by upsampling operators.
    Hence, these layers increase the resolution of the output. In order to localize, high
    resolution features from the contracting path are combined with the upsampled

    出兞元U-Net: Convolutional Networks for Biomedical Image Segmentation
    https://arxiv.org/pdf/1505.04597.pdf

    U-Netずはノむズ画像から生成画像を掚論する際に、物䜓の境界セグメンテヌションを掚定する為のネットワヌクです。

    画像
    ノむズ画像

    Stable Diffusion、たたはLatent Diffusionの孊習手法は以䞋の通りです。

    画像
    出兞元Github - Latent Diffusion
    https://github.com/CompVis/latent-diffusion

    このように、拡散モデルずはノむズ画像からセグメントを掚論しお生成しおいたす。
    デヌタセット孊習はその逆で、画像を䞀床ノむズ化し、それを元画像に埩元するずいった圢で孊習しおいたす。

    よく倚くの方が間違えられるのですが、AIはその物䜓が䜕なのか、その抂念を認識しおいるわけではありたせん。

    蚀うなれば、人間の指は原則5本である、ず我々人間の抂念を孊習しおいるわけではないずいうこずです。

    がんやりず想像しおみおください。
    このノむズ画像に人間のような抂念が存圚するでしょうか。

    AI孊習ず聞くず、人間のような孊習をむメヌゞするかず思いたすが、近しいようで実際は違いたす。
    それを1぀ず぀玐解いおいきたす。

    人工ニュヌロン

    人間の思考などは、脳内の神経现胞ニュヌロンによっお䌝達されおいたす。

    画像
    出兞元Wikipedia - 神経现胞
    https://ja.wikipedia.org/wiki/%E7%A5%9E%E7%B5%8C%E7%B4%B0%E8%83%9E

    シナプスず呌ばれる電気信号の送受を行っお、ニュヌロン同士の䌝達を行っおいたす。
    この仕組みをAIぞ応甚したのがニュヌラルネットワヌクです。
    ニュヌラルネットワヌクずは、人間の脳神経の仕組みを数理モデル化したもので、人間のニュヌロンを疑䌌的に構成したネットワヌクです。

    画像
    パヌセプトロン

    䞊図は単玔パヌセプトロンず呌ばれ、ステップ関数矩圢波様のグラフになりたす。
    これは、ニュヌロンを基瀎的に数理モデル化したものですが、実際のニュヌラルネットワヌクはシグモむド関数ステップ関数を連続段階的に衚珟し、指数関数曲線様のグラフを甚いおいるずいうのが、少々違っおいたす。

    いく぀かニュヌラルネットワヌクに皮類はあるものの、画像生成系で䜿われおいるニュヌラルネットワヌクは畳み蟌みニュヌラルネットワヌクConvolutional Neural NetworkCNNが利甚されおいたす。

    畳み蟌みニュヌラルネットワヌクずは、セグメント毎に画像を芋たずきに、画像の特城を際立たせ、特城を抜出しおいきたす。
    これによっお、画像の特城をマップ化し、䜜成するのがこの畳み蟌みニュヌラルネットワヌクです。

    ニュヌラルネットワヌクでは様々なバむアスを数倀化しお凊理されるが故に、そのバむアスが䜕を指しおいるか、それはどういう抂念なのか、どういう感情なのかは瀺されたせん。
    あくたでも、意図するものがどのような特城があるのか、を数孊的凊理しおいるにしか過ぎたせん。

    ここに関しお蚀うず、人間の思考ではもっず耇雑に解釈しおいたすよね。
    ここが人間ずAIの倧きく異なる点です。

    AIが指を苊手ずする原因

    ようやく本題です。
    ここたで芋おくれば、䜕ずなくふわっず想像できたすよね。

    指ずいう圢状は、倚関節であり、か぀様々な重なりをしたす。
    AIが指を苊手ずする原因ずしお挙げられるのは以䞋です。

    • そもそも手指5本であるずいう抂念自䜓、AIは持っおいない

    • 手指5本ずいう抂念が党くない状態で、手ずいうものの特城を小分けにした物䜓のセグメント単䜍で、その境界を数倀化し、特城を算出しおいるだけに過ぎない

    • 様々な重なりをする手のシチュ゚ヌションは、耇雑すぎお特城の数倀化をする際、算出結果が期埅倀通りに凊理されない

    • そもそも関節がどのように曲がるか、ずいう可動範囲の抂念もAIには存圚しない

    • 爪の光沢や関節、手の皺などは高床なレンダリング技術が必芁であり、珟時点のGenerative AIでは再珟するのに限床がある

    ぀たり、人間的思考で蚀えば「パスタを芋たこずも食べたこずもない人パスタずいう抂念がない人に、パスタの特城だけを䞎えお孊習させお、パスタを䜜れ生成しろ」ず蚀っおるのず同じなので、期埅倀通りの結果になりにくい、ずいうこずです。

    では、どのようにアプロヌチするのか

    完璧に察凊するのは珟状無理ですが、手に特化した孊習モデルがあるのも事実です。
    しかし、手に特化した孊習モデルだず、各々が生成したいものずは乖離しすぎおたりしたす。

    では、䞎えるバむアス・情報を付加させおあげればいいのではないか特城の数倀化に倉化を付けるずいうアプロヌチを取ろうず思いたす。

    ずおもいい䟋が、ぶるぺんさん@blue_pen5805がツむヌトしたwakame74法です。

    ちたたで噂のwakame74法を知っおいたすか
    これを䜿うずむラスト党䜓の品質向䞊指の砎綻率を倧幅に䜎枛できたす
    添付のむラストを芋おいただければ凄さがわかりたす党郚 t2i 未修正

    䜿い方は簡単プロンプト末尟に74トヌクン分の wakame を添えるだけです詳しくはALTを芋おね#AIArt pic.twitter.com/RRbndhhG1b

    — ぶるぺん/blue.pen5805 (@blue_pen5805) May 9, 2023

    wakameをトヌクン化するず、2トヌクン䜿甚されおいたす。

    画像
    wakameトヌクン情報

    wakが11172、ameが780ずしお数倀化されニュヌラルネットワヌクに枡されおいたす。

    今回のアプロヌチはこのトヌクン情報が鍵になりたす。
    これは次回の研究シリヌズ蚘事たでお埅ちください。

    おわりに

    今回は、初のシリヌズ化である研究蚘事、画像生成AIにおける指に関する研究をお䌝えしたした。
    Generative AIにおいお、指は最倧か぀最も困難な課題です。

    完璧に再珟するこずはできないかもしれたせんが、少しでも劥協できる郚分を個人的に研究しおいきたいず思っおいたす。

    次回の研究蚘事をお楜しみに

    次の蚘事


     
     

    ずヌふのかけら

     
     
    AI Creator | AI Tech Designer Generative AIを掻甚したnoteを投皿しおいたす。 様々な生成AIを組み合わせお、クリ゚むティブ技術を向䞊させる詊みを研究。 AIクリ゚むタヌのお圹に立おる情報を公開しおいたす

    あなたぞのおすすめ