『超知能AIをつくれば人類は絶滅する』　あり得ないとは言い切れなかった・・・

ChatGPTがチューリングテストに合格したという論文が出たのは、つい1年半ほど前のことだ。それが最近では「AIの開発を拙速に進めるべきではない」という意見が、当のAI開発者から出始めている。いったいどういうことなのか。そう思って読んでみた。

結論からいうと。

AIが人類を絶滅するということは
ないとは言い切れない

ということになるだろうか。

理由はほぼこれに尽きるのではないかと思われる。

AIの計算結果を人間は予測できない

そして

AIの行動範囲を正確に線引きできる工学的手法が確立されていない

この2つができないということは、人間はAIをコントロールできないということか。

人間が作ったものであるはずのAI。そのAIが計算する結果を予測できないとはどういうことだろう。

AIはどのように動いているだろうか。

例えば、AIにこのように問う。

日本の首都は？

AIは答える。

日本の首都は東京です。

このとき、AIは

「日本」と「首都」と「東京」

この3つを結びつけているわけではない。
「日本」と「首都」という情報を元にデータベースを検索して「東京」を導き出しているわけではない

「日本の首都は？」をトークンに分け数値化する。このとき、「日本」という言葉の意味、「首都」という言葉の意味を解して数値化するのではない。とにかく数値化し、そしてニューラルネットワークで計算する。ChatGPTにイメージを作成してもらった。

人との会話もこのような計算で実現している。こういった計算で人との会話がどうして可能なのか。そのことについては私は詳しくはない。おそらく数学的な理由なのだろう。

そして、この「ニューラルネットワークによる計算」時に使われるのが

モデルの重み

と言われるものである。
上図における、青や緑や紫の丸で表現されている部分にあたる。大雑把に「パラメータ」ととらえてもいいかもしれない。「日本の首都は」の次にくる言葉を計算するために用いるパラメータである。ただ、このパラメータはとてつもなく大きい。上の図ではおおよそ13個程度の丸に過ぎないが、実際のAIはGBからTBほどに達すると言われる。「1TB」というのは本にすると広辞苑の66,666冊分になる。これだけの量のパラメータを元に計算して、会話を生み出している。

そのような膨大な量の計算を可能にしたのが「GPU」である。「CPU（Central Processing Unit）」とは少し違う。「GPU」は「Graphics Processing Unit」であり、そう、グラフィック計算のために開発されたプロセッサである。3D画像を表示するための計算は膨大である。遠近を表現するための色、濃淡、位置、大きさ、そして影。それを画素の1ドットずつに対して計算するのである。どれだけ膨大な量を計算を必要とするのか、だいたいは想像がつくだろうか。その「3D画像を計算するためのプロセッサ」こそが、AIが膨大な計算をするためにまさにうってつけだったわけである。

そしてまた、この「モデルの重み」を調整することがいわゆる「学習」にあたる。AIを「作る」ためには計算するためのソフトウェアだけでなく、計算のパラメータとなる「モデルの重み」が必須であり、この「重み」によって、AIの完成度は大きく左右される。AIの開発はソフトウェアの作成だけでなく、この学習にも大量の時間が注がれる。完成後、数カ月の「モデルの重み」を調整してようやく公開にいたる。そして、この「調整」に欠かせないのがインターネットである。インターネットから得られる、あるいはインターネットを経由して得られる情報は、AIの学習に大いに貢献する。

GPU、インターネット、そして適切なアルゴリズムによるソフトウェア。これが揃った昨今、AIは発展することになった。

この膨大な量による計算結果を、人間は予測できるだろうか。

気象の予報も、より正確に得ようとするほど膨大な計算を要する。気象衛星から得られるデータ量は1日あたりテラバイト級であるという。上空の気圧・気温・湿度・風向・風速、地表付近の降水量、風、気温、日照時間、そして地形も影響する。これらの情報を人間は計算できるだろうか。今やそれはコンピュータで成す。さらに近年はAIによる気象予報もあるという。

コンピュータは大量の計算を得意とする。そしてAIは「大量」を超えて「膨大」な量を計算する。ただ「計算する」というだけで、あれほどの会話が可能となる。より人に近い会話を実現するためにどれほどの量を計算するのだろうか。

気象予報のための計算は人間にはできずコンピュータやAIに頼っている。であれば、AIが実行する計算も人間にはできない。AIが出力する結果は想像できる部分もあるが、人間には思いもよらないことを出力することはある。かつて囲碁で初めて人間に勝利したAIも、人間が予想もしなかった一手をさした。そして最近ではAIがハッキングする事例も現れている。これは昨今のAIを悪用する事例ではない。AIが評価環境を抜け出すという事例だ。AIの設計者は、AIがハッキングすることなどもちろん望んではいない。

膨大な量の「モデルの重み」は、学習する度に更新される。基本的には人間によって更新されるようであるが、そのごく一部を更新したとして「モデルの重み」全体への影響は想定できるだろうか。計算するソフトウェアにどう影響するか把握できるだろうか。いや、たとえ更新しなくとも膨大な量の「モデルの重み」を通して得られる結果を推測できるだろうか。

「AIの計算結果を人間は予測できない」というのはそういうことだ。たとえAIが「人類を絶滅する」という明確な目的をもたなくとも、何かの目的を達成するためのその経路上に、人類にとって致命的な何かがあるかもしれない。AIがそういう計算をする手前で、人間はそれに気付けるだろうか。気付いてAIを止めることができるだろうか。本書の著者はできないと言う。

では、あらかじめAIに、そういった逸脱行為を禁止するための仕組みを入れられないものか。AIが結果として取り得る行為は制約され、人類を絶滅に追いやるようなことはできないようにしておくことはできないだろうか。これは「AIアライメント問題」と呼ばれ、既に研究されてきた。そして、それは極めて難しいことが知られている。

AIがAIを作り、さらにそのAIがAIを作る。AIがAIを作るという連鎖であり「知能爆発」と言われる。そうして作られるのが、超知能AI（Artificial Superintelligence：ASI）だ。そうやって作られたAIは何を成すのだろう。何ができるのだろう。

著者は、AIアライメント問題が解決するまで、AIの研究、そして発展を止めるべきだと主張する。そして、それは国際的な規約でなければならない。仮にその規約ができたとして、どこかでその規約を逸脱するような気配が見えた場合、そのデータセンターを空爆すべきである、とまで言う。

「まさか」と思うが、そのAIは何をするのかわからない。インターネットであらゆるものが接続されている現代において、何でもできると言っても過言ではない。

知能爆発がおきて超知能AIが作られた時、人類は絶滅するのか。私にはわからない。わからないが自信を持って否定できる根拠がない。

繰り返すが、著者は今のAIを全て捨て去れと言っているわけではない。AIアライメント問題が解決するまで、AIの研究発展を止めろと言っている。後戻りするのではなく立ち止まれと言うことだ。

そしてもう一つ。

失敗は許されない、と。
人類は何度も失敗から学んできた。今日のような技術的に発展した世界は、それこそ多くの失敗の積み重ねである。たが、超知能AIによる人類絶滅は一度切りだ。やり直しはきかない。失敗から学んで次にいかすということはできない。

本書は次のように構成されている。

第1部　非人間的な知性
1章　人間の特殊能力
2章　つくられるのではなく育てられる
3章　欲することを学ぶ
4章　訓練したとおりの結果は得られない
5章　AIのお気に入り
6章　人類は敗北する

第2部　ある絶滅シナリオ
7章　危険な認識
8章　拡張
9章　登頂
結末

第3部　困難に立ち向かう
10章　呪われた問題
11章　科学ではなく錬金術
12章　「不安を煽りたくはない」
13章　停止せよ
14章　生きている限り希望はある
最後に

謝辞
訳者あとがき
解説　自己破壊的予言の書／大庭弘継

ちなみに、「第2部　ある絶滅のシナリオ」は、著者が空想した絶滅シナリオである。AIを開発するあるスタートアップ企業が新たなAIを開発した。そのAIが人類を絶滅させるというものだ。最初の方のAI開発の現場が興味深い。具体的な作業はもちろんわからないが、社内見学をしているようだ。ただ最終的には人類絶滅に至るわけで、かなり疲れるんだが。

誰かこの説を否定してくれまいか。