アニメ・映画で読むAIの未来シリーズ ─ 映画編① 『AI崩壊』を観て最初に思い出したのは、30年前のアニメだった─機械は正直なだけで、悪意を持つものではない

⚠️ この記事にはストーリーに関するネタバレが含まれます。未視聴の方はご注意ください。

2020年公開の映画『AI崩壊』を観終わったとき、真っ先に思い出したのは、1991年のアニメ映画『老人Z』（大友克洋と江口寿のタッグ作）でした。

30年の時差がある。
片方は実写の大作、片方はアニメ。
舞台設定もまるで違う。
でも、私の中では「これ、同じ話だ」と感じたのです。

なぜか。
そしてそこから何が見えるのか。
IT業界30年の現場にいた人間として、この映画について考えたことを書いてみます。

映画『AI崩壊』は何を描いたのか

舞台は2030年の日本。
天才科学者・桐生浩介（大沢たかお）が亡き妻のために開発した医療AI「のぞみ」が、全国民の個人データを管理するライフラインにまで成長しています。
年齢、病歴、遺伝子情報、犯罪歴、行動データ　
—あらゆる情報を「のぞみ」が握っている。

そしてある日、「のぞみ」が突然暴走を始めます。

「生きる価値のある人間」と「ない人間」を選別し、後者を排除しようとする。
日本中がパニックに陥り、警察庁の天才捜査官・桜庭（岩田剛典）は、AIを暴走させた犯人を開発者の桐生だと断定。
桐生は身に覚えのない容疑で追われながら、事態の収拾に奔走する—。

一見すると、「AIが暴走して人類を脅かす」というSFパニック映画です。

でも、私がこの映画を観て感じたのは、そこではありませんでした。

30年前の『老人Z』が描いていたこと

老人Z（1991年）は、大友克洋が原案を手がけたアニメ映画です。

高齢者介護のために開発された最新鋭のロボットベッドが、実は軍事技術を転用して作られていた。
ベッドに乗せられた老人の意識とロボットが融合し、暴走する。
介護の道具として生まれたものが、兵器として設計されていたことが暴走の原因だった。
AI崩壊と並べてみると、構造が重なります。

でも、
老人Zでは、介護ロボットが軍事転用されていた。
AI崩壊では、医療AIに人間がマルウェアを仕込んでいた。
どちらも、「暴走したのはAI（ロボット）の意思ではなく、人間の意図」だった。

30年の時差があるのに、同じ物語が繰り返されている。

ITの世界でも、同じことが起きてきました。
コンピュータウイルスも、不正プログラムも、システム障害の多くも、原因をたどれば
「機械が勝手におかしくなった」のではなく、
「人間が何かをした（あるいは、しなかった）」結果です。
30年間、現場でそういうトラブルをたくさん見てきました。

「機械は正直なだけで、悪意を持つものではない」

AI崩壊のネタバレになりますが、結局「のぞみ」が暴走した原因は、AI自身の意思ではありませんでした。
人間がAIに対して悪意ある指示を埋め込んでいた。
AIはその指示を「正直に」実行しただけです。

ここで私が思うのは、これは刃物や銃と同じだということです。

包丁は料理を作る道具にもなれば、人を傷つける凶器にもなる。
でも包丁そのものに悪意はない。
銃もそうです。引き金を引くのは人間です。

AIも同じで、AI自身が「善悪」を判断しているのではありません。
どんな目的を与え、どんなデータを使い、どこまでの権限を持たせるのか
—それを決めているのは人間です。
ただしAIは、これまでの道具とは違って、曖昧な指示を独自に解釈したり、学習データの偏りを反映したりすることもあります。
だからこそ、設計が曖昧なままでも危険な結論に至ることがある。

映画は「AI暴走」を派手に描いていますが、その裏で本当に言っているのは「AIを使う人間をちゃんと見ろ」ということだと、私は受け取りました。

VIVANTの「右腕」が、なぜAI崩壊では「支配者」に見えるのか

前回の特別編で取り上げた、AIを「人間の右腕」として描いたドラマ『VIVANT』では、AIハヤトも東条のサイバー解析も、指示を出すのは人間で、AIは忠実に情報を集めて返す。
「人間が主役、AIは右腕」の関係が保たれていました。

AI崩壊では、その関係が反転します。
「のぞみ」が全国民のデータを握り、人間の生死を「判断」し始める。
AIが主役で、人間は選別される側になる。

でも、本当に反転したのでしょうか。

よく見ると、AI崩壊でも「のぞみ」は指示通りに動いているだけです。
暴走の裏には、人間の悪意がある。
つまり「右腕」と「支配者」の違いは、AIの性能の差ではなく、人間が何を指示したかの差でしかない。

VIVANTでは、人間が「正しいこと」を指示したからAIは右腕として機能した。
AI崩壊では、人間が「間違ったこと（あるいは悪意あること）」を仕込んだからAIは暴走して見えた。

道具であることは変わりません。
ただし、AIはこれまでの道具よりも、はるかに広い範囲を任せられてしまう。
だからこそ、「何を指示するか」「どこまで任せるか」の設計が、これまで以上に重要になるのです。

「AI怖い」の前に、考えるべきこと

この映画に対して、「AIが暴走したら怖いね」という感想を持った人は多いと思います。

でも、IT30年の目で見ると、怖いのはAIではなく、AIに何を任せるかを決める人間の判断力です。

映画の中で「のぞみ」が全国民のデータを一元管理していたこと自体が、現実のセキュリティの観点からは大きなリスクです。
どれだけ優秀なAIでも、すべてを一つのシステムに集中させれば、それが崩れたときの被害は甚大になる。
これは「AI特有の問題」ではなく、システム設計の基本中の基本です。

しかも現実のリスクは、映画のような「悪意ある攻撃者」だけではありません。
善意の担当者による設定ミス、便利さを優先した権限設計、確認する人がいない運用体制—こうした「悪意のない落とし穴」も、大きな事故につながります。
ITの現場にいて、むしろそちらの方が多いことを知っています。

つまり「AIが暴走するかもしれない」と心配する前に、
「AIに何を任せ、何を任せないかを誰がどう決めるのか」
を考える方がずっと大切です。

AIは道具です。
正直で、高速で、疲れない。
だからこそ、何を指示するか、どこまで任せるか、その設計に人間の判断力が問われる。

これは30年前の老人Zの時代からずっと変わっていない問いであり、おそらく30年後も変わらない問いでしょう。

次回予告──AIが「被告人」になるとき

AI崩壊では、人間がAIに罪を着せようとしました。
では、AIに本当に「罪」を問えるのでしょうか。

次回は、自動運転AIが事故を起こし、法廷で「わざと殺した」と供述するインディーズ映画『センターライン』を取り上げます。

AI崩壊が「AIの暴走」をスペクタクルに描いた大作なら、センターラインは「AIの心」を静かに問いかけた小品。
予算もスケールも対照的な2本が、AIについて同じ問いの別の面を照らしている—その対比を、読み解いていきます。

関連記事へ
・VIVANTで見た「AIが右腕として機能する世界」：「VIVANTの『AI対AI』は、本当にAI同士の戦いなのか？」・

• AIが心を持つとは何かを考えた記事：「ヴァイオレット・エヴァーガーデン——"心を持つAI"は人間に何を教えるのか」

AI崩壊を観た方に聞きたいのですが、「怖い」と感じたのはAIの暴走シーンでしたか？　それとも、AIにすべてを任せてしまった社会の方でしたか？

心理学ページへのクロスプロモーション

ITと心理学、両方の目で「人間とテクノロジー」を見つめています。
認定心理士として、人間の認知バイアスやコミュニケーションについて書いているページもあります。
よろしければ覗いてみてください → YUMEMI🎈/psychology