なぜ画像生成AIは絵巻物ができないのか

English version:

https://medium.com/@chakkun1121/why-image-generation-ai-fails-at-creating-emakimono-picture-scrolls-71889f2c766c

最新の画像生成AIって実写はうますぎて区別がつかないとか言われているけれども、なんで絵巻物はきれいに壊滅するの?

要旨(Abstract)

この記事ではでは、実写において人間と遜色ない精度を誇る最新の画像生成AIが、日本の伝統的技法である「絵巻物」の再現において極めて低いパフォーマンスを示す現状を報告する。複数の主要モデル (SD1.5、NanoBanana 2,Pro、Flux 2、GPT Image 2等) を用いた検証の結果、AIは「吹抜屋台」や「異時同図法」といった絵巻物特有の空間表現や物理構造を正しく理解できず、西洋的な透視図法へのバイアスや学習データの不足が顕著に見られた。結論として、日本文化の固有表現を正確に継承・生成するためには、国産モデルの開発や絵巻物に特化した学習アプローチが不可欠であることを提示する。しかし私はこの先これらのAIの使い方を工夫することで、絵巻物を作ろうという計画を立てている。

はじめに

chakkun1121です。AI絵巻物プロジェクトは現在座礁段階にあります。というものこのあと説明しますが、画像生成AIが絵巻物に対して無力だったからです。

最近の画像生成AIは性能が良くなりすぎて、もう人間では区別できないという話も出ています。

これいきなり見せられて実際の写真だと思った人はどれぐらいいるのでしょうか? てか、単に大学生とだけ指定してどちらも女子を出してくるのは何かあるのでしょうか?

これぐらいならSNSのタイムラインに流れてきても多分多くの人は本物だと信じてしまうと思います。しかし、この記事ではこれによって生じうる問題についての議論は本題ではないので避けます。

ちなみにヘッダー画像はどちらもGPT Image 2で生成したものです。

絵巻物とは

前回の記事を読んでくれた人はもうわかっていると思いますが、前回の記事を読んでいない人のために説明します。

https://medium.com/@chakkun1121/why-are-short-form-videos-strange-6752a9058250

この記事で絵巻物について長々と説明するよりも実際に見てもらったほうが早いので、前回同様、信貴山縁起絵巻の第1巻を紹介します。実物は国宝に指定されていて国立国会図書館でも公開されていますが、サイトが鑑賞させる気がないように作られてしまっているので、これも前回同様模本を紹介します。

現代のスマホはアスペクト比が1:2程度なので、横にして全画面で鑑賞すると当時と同じ感じで鑑賞できます(詳しくは前回の記事参照)。

高解像度版(画面サイズによっては全部で10MB近く読み込まれます。ご注意ください)

軽量版(1MB程度。スマホだと拡大しなければこっちでもいい気もするが、操作性が悪いので要注意。また、絵巻物は右から左に進むので、開いたら早速右端までスクロールしてから観賞しないといけない…)

前回同様詞書きもないので、ストーリー展開がよくわからない人も多いと思うので、Wikipediaより引用します。また、参考記事のリンクも載せておきます。

マジで信貴山行きたくなってきた。というのかこの作品本当かどうかわかりませんが、一説では広告のために作られたとされているらしく、そうなら800年の時を経てまんまとはめられた人になりそうです

私もAI絵巻物のプロジェクトの参考として結構見ていますが、やはり流れが素晴らしいです。前にも説明しましたが、ちょうどアスペクト比が2:1程度になるように見ていくと左側に次の場面へ続くものが描かれていて次どうなっているんだろうという感じでどんどん読み進められます。現代の小説の伏線みたいですね。

また、前回同様ですが、この作品は本来もう著作権は切れているはず(1700年代に制作された)だからパブリックドメインで自由に使えるはずなんだが、美術館側が制限しているので転載できないです。てか、これを美術館が制限する権利があるのだろうか?
参考記事

当時はこれを床や低い机において観賞していたみたいですが、現代スマホで観賞するときには、スマホを横にしてから垂直ではなく、床から 45°～60° 傾けて見ることをおすすめします(俯瞰角約60°)。パソコンの場合も同様です。

実際に観賞してもらえばわかると思いますが、絵巻物には以下のような特徴があります。

1. 吹抜屋台: 建物の中と外を同時に描くため、屋根をぶち抜いて描く。また、画角は神の視点、つまり現在で言う、街作りシミュレーションゲームやドローンのような視点で描かれています。当時は床や低い机に置いて観賞したので、この画角から描かれていたため、巻物の奥に世界が広がっているように感じていたと思われます。今の時代の動画とかアニメとかVRとかと同じように没入感を求めていたみたいですね。
   ※2026/04/29修正: 実は信貴山縁起絵巻では吹抜屋台は使われていなく、すべて建物が絡む場面は縁側など外からぎりぎり見える場所で行われていました。

2. 異時同図法: 同じ人物を絵の中に複数回出して動きを表現する。これについては鳥獣戯画がとても有名ですが、今回紹介した信貴山縁起絵巻でも使われています(本来ならこのあとに画像を乗せて紹介したいが、よくわからん規約のせいで転載できず…)。

特に絵巻物の特徴は1の吹抜屋台にあります。多分このような描き方をするものは絵巻物以外無いと思います。逆にここが画像生成AIの盲点になっているみたいです。まあ2の異時同図法は漫画はコマはあるけれども同じ画像ファイルの中で考えると複数同じキャラがいるのが一般的なのでAIにとってはそんなに難しくないかなと勝手に考えています(まだやっていないが)。

それぞれの画像生成AIの作品

ではそれぞれの画像生成AIについて見てみましょう。

SD1.5 + Lora

プロンプトをまともに聞かないので使えたものではありません。強いて言うなら源氏物語絵巻の画像をLoraで学習させているため、それっぽい画風の画像が出てくるって感じです。

これの最後のところでやったのが始まりです。

それぞれNoteにも同じ記事を投稿しているものの、絵巻物の観賞については私のサイトのほうがカスタマイズしやすいのでそちらへリンクを張りました。
横にスクロールできます。また、スマホの場合は少し見づらいですが、右下に全画面ボタンがあるのでそこから全画面で鑑賞できます。

源氏物語絵巻のLoraのためそこまで指定していなくても自然と画角だけはあっています。ただ、アウトペイントの都合とかでもうぐちゃぐちゃになって、まともに絵巻物と呼べるものではなくなってしまっています。当時は私が絵巻物についてちゃんと理解しないまま作業をしていました。

NanoBanana2

前から何度も遊んでいる8:1というわけのわからないアスペクト比に対応した画像生成AIです。

今までよりはマシになりましたが、絵巻物とだけ指示するだけだと吹抜屋台を使ってきませんでした…。これがこのまま続くと、この先問題になりそうな画像生成AIによってそれもどきが出てきてネット上に氾濫し、伝統文化が保護されない問題に繋がりそうです。

更にNanoBanana2壊れたし…。Googleテストしたのかな?
(ただ例のサイトで使っているのがまさかNanoBanana2出ないとか無いよね)

この過程で右から左に進めていることが判明し、3つ目の記事のやつはもう最初から右から左の原則はガン無視するし、画角違うし、更に場面ごとのつなげ方も違うし、最後どうなっているんだって感じでツッコミ放題です。完全にそれもどきが出てきているって感じです。

次に、ちゃんと吹抜屋台を理解しているのかを確かめるために、鉄道でやってみます。

まあ画角は悪くないが、なんで扉が空いているのとしまっているのがあるの?あと車内、阪急じゃないんだからなんで扉のところに座席があるの?
あと先頭どうなっている?

参考 阪急の5ドア車。通勤ラッシュ以外のときには5つ中2つのところの扉のところに座席が降りてきて3ドアとして運用していた。

では、次。

もう何から手を付けたらいいのか?まず画角は終わっているし、右側の扉、車内と外どうなっているんだ?てか車両ハの字に開いているように見えるのは気のせいかな?

NanoBananaPro

最近NanoBanana2に抜かれて存在意義が怪しくなってしまったProですがどうでしょうか?

画角はアウト。ただそれ以外ではパット見問題はなさそう。細かいところを気にし始めたら文句の付け所だからけだが、そんなことしたらキリがないので無視する。
NanoBanana系ならちゃんと場所を指示したら編集性能が高いから直せるだろう(が大変なので未検証)。

Flux 2

実写と言ったらFluxですがどうでしょうか?

指示が通らなかったので変更してもう1回。

もう何から手を付けるべきかな?絵巻物と浮世絵ごっちゃになっているな。

GPT Image 2 (medium)

つい先日出て爆弾モデルとか言われていますが、絵巻物はどうでしょうか?

黄ばみ取れたとか言われていますが、全然取れていません。てかここまでひどい画像どこにもないぞ。どう学習したらこうなったんだ?

また、NanoBanana系と同じく車内の物理構造が大変なことになってしまっています。

ここまでアメリカのトップモデルをやってみましたが、まさかきれいに全滅しました。このあと軽くラフを書いてこれを元にNanoBananaの2つにやらせたものの、結局根本的解決には繋がらず、物理構造の破壊は残りました。

考察: なぜ画像生成AIモデルはここまで絵巻物ができないのか

これについては様々な要因が考えられますが、私が考えるには以下の物があると思います。

1. 絵巻物の学習データ、学習量の不足

2. ラベル付けの問題

3. 西欧的な「透視図法」へのバイアス

まず1つ目についてはそもそも絵巻物の画像データそのものがインターネット上に大量に転がっている写真、イラストよりも圧倒的に少ないことが考えられます。しかし、これは今現在絵巻物を制作している方がほとんどいないことを踏まえるとこれ以上の対策はとても難しいと考えられます。更に利用者側としても写真や漫画、イラストを依頼するユーザーは大量にいるものの、絵巻物を依頼するユーザー、ましてはここまでガチな人は数人しかいないと思われます。

2つ目は今回のFluxのように絵巻物と浮世絵を混同しているような感じのものです。まあアメリカ製のモデルだから日本の細かいところまで無理だと言われたら以上となってしまいます。
このようなことを考えていくと、やはりテキスト生成AIだけではなく、画像生成AIも国産のものが必要だと考えられます。この先の日本文化を守るためにも日本のことをよく知ったAIが不可欠だと考えます。

3つ目は1つ目と被りますが、絵巻物特有の吹抜屋台をほとんど学習することなく、写真やイラストなどで多く使われている透視図法に引っ張られまくっていると考えられます。特に鉄道をやったときにも、鉄道の吹抜屋台での物を学習していないものもあるかもしれませんが、どう見たって透視図法に引っ張られて破壊しているものもありました。

まあどれが原因としてとっても、この日本の絵巻物という文化を守るためには、日本でモデルを作成する必要があるという結論になりました。

最後に

このようにアメリカ製のモデルだと今のところ絵巻物を再現することはできないことがわかりました。しかし、私が今進めている絵巻物プロジェクトでは、AI系をほとんど理解していない状態の私が1からモデルを作るのは労力だけではなく計算資源やデータが圧倒的に不足しているので今すぐには始めません。しかし、ここまで壊滅したAIですが、使い方次第では「吹抜屋台」や「異時同図法」などの 絵巻物固有の表現が再現できるかもしれません。ここにフォーカスを当ててこの先のプロジェクトを進めていきます。

最後に、このプロジェクトに興味を持った方(文系の方も大歓迎)がいらっしゃいましたら、XのDMなどで連絡してくれると嬉しいです。また、このモデルなら絵巻物できるよとかこのモデルでもだめだったとかありましたらコメントで教えてくれるとありがたいです。

AI絵巻物プロジェクトについては最近メンバーシップを作成し、そちらで詳細、進捗等を公表する予定です。最新の画像生成AIですらできない絵巻物をどのように処理するのかなどについて公表する予定です。興味を持ってくれた方は以下のリンクから概要だけでも見て行ってください。