AIとは何か？AIという「ツール」を使いこなすのではなく、「概念」を使いこなすために

「AIって、結局なんですか？」

この質問に、私はしばらく答えられずにいた。いや、答えることはできた。「人間のように学習し、判断するコンピュータのことです」——そう言えば、たいていの場面は乗り切れる。相手も「なるほど」と頷いてくれる。

でも、これは何も説明していない。「人間のように」が何を指すのかも、「学習」が具体的に何をすることなのかも、この文は一切定義していない。空っぽの器を、それらしい言葉で満たしただけ・・・

そして厄介なことに、この空っぽの理解のままAIを業務に導入すると、必ずどこかで事故る。「なぜこの結果が出たのか説明できない」「特定のケースだけ精度がひどい」「自信満々に嘘をつく」——これらは全部、AIの中身の構造から必然的に導かれる性質であって、不具合ではない。中身を知らないから「想定外」に見えるだけ。

この記事では、数式をほとんど使わずに、しかし比喩だけに逃げずに、AIの中身を下から順に開けていく。読み終わる頃には、「AIとは何か」に対して、自分の言葉で答えられるようになっているはずと思いたい。

第1部　「AI」という言葉の正体

定義がないまま、70年が過ぎた

まず身も蓋もない事実から始めてみる。AIには、世界共通の厳密な定義が存在しない。

「人工知能（Artificial Intelligence）」という言葉が生まれたのは1956年、ダートマス会議という研究者の集まりでのことだ。命名者のジョン・マッカーシーは、この分野に予算と人を集めるためのキャッチーな旗印としてこの言葉を選んだ、という側面がある。つまりAIは最初から、厳密な学術用語というより、ある種のスローガンとして出発している。

さらに遡ると、1950年にアラン・チューリングが書いた論文がある。彼はそこで、「機械は考えることができるか」という問い自体を投げ捨てた。この問いは「考える」の定義に依存しすぎていて、答えようがない、と。代わりに彼が提案したのが有名な模倣ゲーム——後にチューリングテストと呼ばれるものだ。「内面がどうか」ではなく「外から見た振る舞いが人間と区別できるか」に問いを置き換えた。

この置き換えは、今日のAIを理解する上で決定的に重要だ。あとで戻ってくる。

AI効果：完成した瞬間に「それはAIじゃない」と言われる

AIの定義が定まらない、もうひとつの理由がある。「AI効果」と呼ばれる現象だ。

かつて、二桁の掛け算を瞬時にこなす機械は知性の象徴だった。今それを電卓と呼ぶ人はいても、AIと呼ぶ人はいない。チェスで人間の世界王者を倒したディープ・ブルーは1997年当時、知性の到達点として報じられた。今のチェスエンジンは、ただの「強いプログラム」だ。手書き文字の認識も、音声の書き起こしも、かつては全部「AI」だった。

技術が実用化され、仕組みが理解された瞬間、人はそれを「AI」の枠から外す。 残るのは常に「まだよくわからないもの」だけ。だから「AIとは何か」の答えは、原理的に、永久に更新され続ける。

これは笑い話ではない。5年後、今のClaude、Gemini、ChatGPTなどが「あんなの、ただの言語モデルでしょ」と言われている可能性は高い。そのとき「AI」と呼ばれているのは別の何かだ。言葉を追いかけても本質には届かない。だから中身を見る必要がある。

いま「AI」と呼ばれているものの実体

用語を整理しておく。入れ子構造になっている。

人工知能（AI）：人間の知的作業を機械にやらせようという分野全体。ルールを人間が書き下ろす方式（かつての主流）も含む。

機械学習（ML）：その中で、ルールを人間が書くのではなく、データから自動的に見つけさせる方式。

深層学習（ディープラーニング）：機械学習の中で、多層のニューラルネットワークを使う方式。2012年以降の主役。

生成AI / 大規模言語モデル（LLM）：深層学習の応用のひとつ。ChatGPTやClaude、画像生成AIなど。

つまり、今日ビジネスの現場で「AI」と呼ばれているものは、そのほぼ全部がニューラルネットワークという一種類の仕組みの上に成り立っている。逆に言えば、ニューラルネットワークの中身がわかれば、今の「AI」の正体はほぼわかる。

じゃぁ、開けていきますか！
（ここからは頭がぐるぐるするかもですが、ご了承ください・・・）

第2部　中身を開ける：784個の数字から始まる

手書き数字という、完璧な入り口

ニューラルネットワークを理解する定番の題材が、手書き数字の認識だ。紙に書かれた「3」の画像を見せると、機械が「これは3です」と答える。人間だったら、幼児でもできる。プログラムで書こうとすると絶望的に難しい・・・
この落差こそが、機械学習が必要とされた理由そのもの。
掘り下げると、「３」という数字を見せて、「なぜ３と読むのか」と考えてみる事象に近いかも。

考えてみてほしい。「3」を判定するルールを、if文で書けるだろうか。上下に開いた曲線が2つ？ では左側が少し閉じた癖字の3は？ 8との違いは？ 傾いていたら？ 太かったら？ ——ルールは無限に増え、しかも例外に食い破られる。人間は「3らしさ」を認識できるのに、それを言語化できない。 これを「暗黙知」と呼ぶ。機械学習とは、暗黙知を、ルールの記述ではなくデータの提示によって機械に移す技術だ。

入力：画像は「784個の数字」でしかない

手書き数字の画像を、28×28ピクセルの白黒画像だとする。ピクセルは全部で784個。それぞれのピクセルの明るさを、真っ黒を0、真っ白を1として数値化する。

この時点で重要なことが起きている。画像は「784個の数字が並んだもの」に変換された。 機械にとって、そこに「3」が書いてあるという意味は存在しない。あるのは784個の数値だけだ。

出力側も同じだ。答えは0から9の10通りなので、出力は10個の数字にする。それぞれが「0らしさ」「1らしさ」…「9らしさ」を表す0〜1の値だ。7番目の数字がいちばん大きければ、答えは「7」。

ここまでで、問題はこう言い換えられる。

これがニューラルネットワークの正体！！！
魔法でも、脳のコピーでもない。超巨大な関数。

ニューロン、重み、バイアス

その関数の中身は、層でできている。入力層784個、間に隠れ層（たとえば16個ずつ、2層）、出力層10個。それぞれの丸を「ニューロン」と呼び、ニューロンは0〜1の数字をひとつ保持する。この数字を「活性度」と呼ぶ。

前の層のニューロンと、次の層のニューロンは全部つながっている。つながりには重みという数字がついている。あるニューロンの値を決めるとき、前の層の全ニューロンの活性度に、それぞれの重みを掛けて、全部足す。ここにバイアスという数字を足して、最後に0〜1の範囲に押し込める関数（シグモイドやReLU）を通す。それだけだ。

この操作の意味は、比喩を使うとこうなる。

• 重みは「注目パターン」。あるニューロンが持つ重みの一覧は、「入力のここが明るくて、ここが暗いと嬉しい」という関心の型紙だと思っていい。型紙と入力がぴったり合うと、大きな値が出る。

• バイアスは「発火のしきい値」。「この程度の一致では反応しないでおこう」という慎重さの度合いだ。バイアスが大きくマイナスなら、そのニューロンは相当な証拠が揃わないと反応しない。

そして、これが全部で何個あるか。入力784→隠れ層16の重みが12,544個、隠れ層16→16が256個、16→出力10が160個。バイアスが16+16+10で42個。合計 13,002個。

この13,002個のツマミを、どうにかして適切な値に合わせること。それが「学習」だ。

美しい期待と、最初の裏切り

ニューラルネットワークを設計した人たちには、こんな期待があった。

1層目のニューロンは、画像の中の短い線やエッジに反応するようになるだろう。2層目はそれらを組み合わせて、「上部の丸」「下部の縦棒」といったパーツに反応するようになるだろう。そして出力層は、パーツの組み合わせから数字を判定するだろう——エッジ、パーツ、数字。人間の認識に似た、美しい階層構造だ。

実際に学習させたあと、隠れ層のニューロンが何に反応しているかを可視化してみる。

そこにあるのは、ほとんどノイズのようなパターンだった。

うっすらと構造らしきものは見えるが、「これは上の丸を検出している」と言えるような、きれいなパーツ検出器にはなっていない。ネットワークは、人間が思い描いた方法とはまったく違うやり方で、しかし高い精度で、数字を当てていた。

これが第1の衝撃だ。AIは、人間が理解できる形で問題を解いているとは限らない。 むしろ、そうでないほうが普通だ。「ブラックボックス」という言葉の正体は、ここにある。

第3部　「学習」とは何か：13,002次元の谷を下る

まず「どれだけダメか」を一つの数字にする

13,002個のツマミを最初はランダムな値にしておく。当然、出力はデタラメだ。「3」の画像を見せても、10個の出力は全部でたらめな値になる。

ここで、コスト関数（損失関数）というものを定義する。やることは単純で、「出力すべきだった理想の値」と「実際に出た値」の差を取り、二乗して、全部足す。正解の「3」のところは1であってほしいのに0.2しか出ていない、他は0であってほしいのに0.7も出ている——そのズレの総量を、たった1つの数字に圧縮する。

この数字が大きいほど「ダメ」。小さいほど「良い」。これを何万枚もの訓練画像すべてについて計算し、平均を取る。それが、そのネットワークの「ダメさ」の総合スコアだ。

学習の目標は、たった一つに定まった。この数字を、できるだけ小さくすること。

ここが決定的に重要な転換点だ。「数字を認識できるようになれ」という曖昧な目標が、「この数値を最小化せよ」という、機械が扱える数学の問題に変換された。

谷を下る：勾配降下法

では、どうやって最小化するか。

ここで頭の中に、山と谷のある地形を思い浮かべてほしい。横軸がツマミの値、縦軸がコスト。あなたは霧の中に立っていて、地形の全体像は見えない。見えるのは、足元の傾きだけだ。

やることはシンプル。足元でいちばん急な下り坂の方向を調べて、その方向に一歩進む。また傾きを調べて、一歩進む。これを繰り返せば、いつか谷底に着く。

この「いちばん急な下り方向」を数学的に求めたものが勾配で、その逆方向に進む手続きを勾配降下法という。一歩の大きさは「学習率」と呼ばれ、大きすぎれば谷を飛び越え、小さすぎれば永遠に着かない。

実際のツマミは13,002個あるので、地形は13,002次元だ。人間には想像できないが、数学の手続きとしては2次元のときと何も変わらない。「傾きを調べて、その逆に少しずらす」を、13,002個すべてに対して同時にやる。 それだけを、何百万回も繰り返す。

これが「学習」の正体だ。理解でも、洞察でもない。微分と引き算の、気の遠くなるような反復である。

局所最適：谷底が「いちばん低い」とは限らない

この方法には明白な弱点がある。近くの谷に落ちたら、そこから出られない。もっと深い谷が向こうにあっても、足元の傾きしか見えないのだから、気づきようがない。これを局所最適解という。

実務的な含意はこうだ。同じデータで同じ設計のAIを学習させても、初期値や学習の順番が違えば、違う性能のモデルができあがる。 AIの精度は、決定論的に決まるものではない。ここが従来のソフトウェアと根本的に違う。同じコードが同じ結果を返す、という前提が成り立たない世界なのだ。

第2の衝撃：ランダムなラベルでも「暗記」できてしまう

ここで、深層学習の理解を根底から揺さぶった実験の話をしたい。

研究者たちが、画像認識のデータセットのラベルを完全にランダムにシャッフルした。犬の画像に「トラック」、猫の画像に「飛行機」、といった具合に、意味のない対応関係だけが残るようにした。当然、こんなものは学習できないはずだ。そこには学ぶべき法則が存在しないのだから。

ネットワークは、それを学習しきった。 訓練データに対しては、ほぼ100%の正解率を叩き出した。もちろん新しい画像はまったく当てられない。ただ丸暗記しただけ。

この結果が突きつけたのは、こういうことだ。十分に大きなニューラルネットワークは、法則を発見する能力と、丸暗記する能力の両方を持っている。そして外から見ただけでは、どちらをやっているのか区別がつかない。

同じ性質は、もっと日常的な形でも現れる。手書き数字を99%の精度で当てるネットワークに、意味のないランダムなノイズ画像を見せてみる。すると彼女は、まったく躊躇なく、確信をもって「これは5です」と答える。「わかりません」と言う能力が、そもそも設計に入っていない。

ここまで来ると、後の話につながる線が見えてくる。生成AIが平然と嘘をつく現象——ハルシネーションは、バグではない。入力に対して必ず何らかの出力を返す関数という、この仕組みの根幹から素直に導かれる帰結だと…

第4部　どうやって学ぶのか：誤差逆伝播法

全ニューロンの「要望」を集計する

勾配降下法で「傾きの逆方向に進む」と言ったが、13,002個それぞれについて傾きを実際にどう計算するのか。それを効率的にやる手法が**誤差逆伝播法（バックプロパゲーション）**だ。深層学習の心臓部にあたる。

数式なしで、直感だけを取り出す。

「2」の画像を見せたら、出力の「2」が0.2しか出ておらず、「8」が0.9も出ていたとする。このとき、望みは明確だ。「2」の値を上げたい。他の9個は下げたい。 しかも「8」の0.9は特に大きな間違いなので、優先的に下げたい。この「どれくらい強く変えてほしいか」の大きさに、すでに優先順位が含まれている。

では「2」の出力を上げるには、何ができるか。手段は3つしかない。

手段1：バイアスを上げる。 そのニューロンを反応しやすくする。これは直接的だ。

手段2：前の層からの重みを上げる。 ただし、どの重みを上げるのが効率的か。答えは、前の層で強く発火しているニューロンからの重みを、優先して上げること。すでに大きな値を出しているところの重みを増やすほうが、効果が大きいからだ。

この2番目は、脳科学の「同時に発火するニューロンは、互いに結びつきを強める」という原理と形が似ている。ただし、似ているのは形だけで、脳が誤差逆伝播をしている証拠はない。ニューラルネットワークは脳の模倣ではなく、脳から着想を得た数学的な別物だ。 ここを混同すると、AIの能力を過大にも過小にも見誤る。

手段3：前の層の活性度そのものを変える。 「2」に貢献しているニューロンにはもっと発火してほしいし、邪魔しているニューロンには静かにしてほしい。ただし前の層の活性度は直接いじれない。さらにその前の層の重みとバイアスを変えるしかない。

こうして、要求が後ろから前へ、層を遡って伝わっていく。これが「逆伝播」という名前の由来だ。

一枚の画像は、一票を投じる

見落とされがちだが重要な点がある。以上の話は、たった1枚の「2」の画像についての要望だ。

同時に、別の「7」の画像も、「0」の画像も、それぞれ「この重みを上げろ」「いや下げろ」という、まったく別の要望を出している。何万枚分の要望を全部集めて、平均を取る。その平均こそが、勾配降下法でいう「下るべき方向」の正体である。

つまり学習とは、膨大な訓練データによる、13,002次元の多数決だ。個々のデータの要望はぶつかり合い、打ち消し合い、その総和として一つの方向が決まる。

この見方を持つと、AIの性質が一気に腑に落ちる。

• 訓練データの多数派に引きずられる。少数派の事例は、多数派の票に押し流される。 これがAIのバイアス問題の数学的な正体だ。

• 訓練データに存在しないパターンには、そもそも投票権がない。未知への対応が弱いのは当然である。

• データを増やすと精度が上がるのは、票数が増えて多数決が安定するから。

酔っ払いが坂を下る：確率的勾配降下法

とはいえ、毎回すべての訓練データについて計算するのは重すぎる。そこで実際には、データをランダムに小分けにして（ミニバッチ）、その小さな集団の要望だけで一歩進む。これを確率的勾配降下法という。

この様子は、しばしばこう例えられる。全データを使ってきっちり計算する方法が、注意深い人がゆっくり最短経路で坂を下る姿だとすれば、確率的勾配降下法は、酔っ払いがふらふらと、しかし素早く坂を下っていく姿だ。一歩一歩の方向は雑だが、圧倒的に速く、そして結果的にはちゃんと谷底に着く。

面白いことに、この「雑さ」は欠点ではない。ふらつきのおかげで、浅い局所最適から偶然抜け出せることがある。ノイズが、性能に貢献している。

ここまでの中間結論

第2部から第4部までで見てきたものを、一文にまとめる。
※ここはVetexなどで、データセットを作るときに必要な基礎的概念だと個人的には思っている。

ここには、意図も、理解も、意味もない。あるのは数値の最適化だけだ。

にもかかわらず、これが驚くほど機能する。次はそれが言語に適用されたとき、何が起きたかを見る。

第5部　では、AIは「思考」しているのか

ブラックボックス問題の、本当の意味

「AIはブラックボックスだ」とよく言われる。この言葉は、しばしば誤解されている。

中身が見えないわけではない。 13,002個（各LLMによってばらつきはある）のパラメータは、すべて数値として観測できる。どの入力がどの計算を経てどの出力になったかも、完全に追跡できる。技術的には、完全にガラス張りだ。

問題はそこではない。追跡できても、それを人間が理解できる言葉に翻訳できないのだ。

「なぜこの画像を3と判定したのか？」——正直に答えるなら、「第2層の7番目のニューロンの活性度が0.83で、そこに重み-0.42が掛かって……」という13,002個の数値の連鎖を延々と述べるしかない。これは説明ではない。説明とは、人間が扱える粒度の概念への圧縮であって、AIの内部には、その概念に対応する部品が存在しないかもしれない。第2部で見た「ノイズのような重み」が、まさにそれだった。

ブラックボックス問題とは、情報が隠れている問題ではなく、語彙が存在しない問題である。

「思考しているか」は、答えの出ない問い

さて、本題。AIは思考しているのか。

哲学には「中国語の部屋」という有名な思考実験がある。部屋の中に中国語をまったく解さない人がいて、膨大なマニュアルに従って、入ってきた中国語の紙に対応する中国語を書いて返す。外から見れば完璧に中国語を理解しているように見えるが、中の人は一字も理解していない。振る舞いが理解と区別できないなら、「理解」とは何なのか。

この議論は数十年決着していないし、たぶんこの先も決着しない。理由は単純で、「思考」や「理解」の定義が定まっていないからだ。ここでチューリングの判断に戻ってくる。彼は1950年の時点で、この問いは答えが出ないから捨てよう、と言った。 70年経って、彼が正しかったことがわかる。

だから私は、この問いを実務からは外し、代わりに置くべき問いは、これだと思っている。

「思考しているか」は哲学的には面白いが、業務判断には何も貢献しない。「崩れる条件はどこか」は、システムの設計を直接左右する。中身を知る目的は、この問いに答えられるようになることにある。

第6部　言葉のAI：Attentionが変えたもの

ここまでは画像の話だった。同じ仕組みが言葉に向けられたとき、私たちが今「AI」と呼んでいるものが生まれた。

言葉をベクトルにする

まず、言葉を数字にしないと計算できない。そこで各単語に、数百〜数万個の数字の並び（ベクトル）を割り当てる。これを**埋め込み（エンベディング）**という。GPT-3では1単語あたり12,288個の数字だ。

面白いのは、この数字の空間で、方向が意味を持つようになることだ。有名な例として、「王」のベクトルから「男」を引いて「女」を足すと、「女王」の近くに着く、という関係が現れる。誰もそう設計していない。大量のテキストから学習した結果、意味が幾何学になった。

単語の意味は、単語の中にはない

しかし、この時点では致命的な限界がある。単語ごとに固定のベクトルでは、文脈が扱えない。

• 「彼はモグラを捕まえた」

• 「炭素1モルの重さ」

• 「頬のほくろを検査する」

英語ではこれが全部 "mole" という同じ単語だ。固定のベクトルでは、この3つを区別できない。

そもそも、言葉の意味は単語の中に閉じていない。「ふわふわした青い生き物」という句では、「生き物」の意味は前にある2つの形容詞によって大きく更新されている。周囲の単語が、その単語の意味を書き換える。 これを計算で実現したのがAttention（注意機構）であり、2017年に登場したTransformerというアーキテクチャの核心だ。GPTの「T」は、このTransformerを指している。

Query、Key、Value：質問と名札と中身

Attentionの仕組みは、こう理解するとつかみやすい。

文中のすべての単語が、次の3つを同時に発する。

Query（クエリ＝質問）：「私の前に、私を修飾する形容詞はいますか？」というような問い合わせ。

Key（キー＝名札）：「私は形容詞です」というような自己申告。

Value（バリュー＝中身）：「私が関係するなら、あなたのベクトルをこの方向にずらしてください」という、実際に渡される情報。

そして、すべての単語のQueryと、すべての単語のKeyを突き合わせる。相性が良い組み合わせほど大きな値になり、それを比率に変換する。この比率が「どの単語にどれだけ注意を向けるか」の分配になる。 最後に、その比率で重みづけしてValueを足し込み、元のベクトルを更新する。

「ふわふわした青い生き物」なら、「生き物」のQueryが「ふわふわした」「青い」のKeyと強く一致し、そのValueが「生き物」のベクトルを、ふわふわで青い方向へ移動させる。意味が、文脈によって空間内を移動する。

これは非常に美しい発想だ。しかも、この処理は全単語について同時に並列で計算できる。前から順に処理するしかなかった従来の手法に対する、圧倒的な速度上の優位——これがTransformerが世界を制した実務的な理由でもある。

未来を見せない：マスク

文章生成AIは「次に来る単語」を予測する訓練をする。このとき、「4番目の単語」の予測に「5番目以降の単語」の情報が漏れると、答えを見ながらテストを解くことになり、学習が成立しない。

そこで、後ろの単語から前の単語への注意を、強制的にゼロにする。これをマスキングという。AIが「未来を知らない」のは、そう設計されているからだ。

積み重ねることで起きること

このAttention処理は、1回で終わらない。

GPT-3の場合、1つの層の中に96個のAttentionヘッドが並列に入っている。あるヘッドは形容詞と名詞の関係を、別のヘッドは主語と動詞の関係を、といった具合に、それぞれ違う種類の関係を担当する（と考えられている。第5部で述べた通り、実際に何を見ているかは完全にはわからない）。

そして、この層が96層積み重なる。ベクトルは96回×96通りの更新を繰り返しながら、単語の意味から句の意味へ、句から文へ、文から文脈全体へと、抽象度を上げていく。パラメータの総数は1,750億個。第2部で見た手書き数字の13,002個から、10桁以上のスケールジャンプがここにある。

そして、それだけの機構を通して最後に出てくるのは何か。

次に来る1単語の、確率分布だけだ。

第3の衝撃：「次の1単語」だけで、ここまで来た

これがおそらく、AIをめぐる最大の驚きだ。

ClaudeやGPT、Geminiなどがやっているのは、突き詰めれば「次の1単語を予測する」ただそれだけだ。予測した単語を文末に付け足し、それを含めた全体をもう一度入力に戻し、また次の1単語を予測する。この繰り返しで、文章が生成されていく。

論文を要約する能力も、コードを書く能力も、翻訳する能力も、誰一人として個別に教えていない。 ただ「次の単語を当てろ」という一つの目標のもと、第3部で見た勾配降下法によって1,750億個のツマミを調整し続けた結果として、副産物のように現れた。

なぜそうなるのか。ひとつの説明はこうだ。次の単語を本当に高い精度で当てようとすると、文法も、事実関係も、論理も、文体も、話者の意図も、すべて内部に持たざるを得なくなる。 「犯人は——」の次を当てるには、推理小説の筋を理解しているしかない。予測という単純な目標が、理解らしきものを要求してしまう。

これが「思考」なのかどうかは、第5部で述べた通り、答えの出ない問いだ。だが、「ただの単語予測でしょ」という切り捨て方が、事実として何も説明できていないことは押さえておくべきだと思う。仕組みが単純であることと、結果が浅いことは、まったく別の話だ。

第7部　結論：AIとは何か

ここまでを踏まえて、冒頭の問いに答える。私の答えはこうだ。

そこに意図はない。理解もない。目的も持っていない。あるのは、微分と引き算の反復と、その結果として現れる驚くべき振る舞いだけだ。

これは、AIを軽んじる結論ではない。むしろ逆だ。意図も理解もない仕組みが、ここまでのことをやってのけるという事実こそが、この分野で最も驚くべきことだと思う。

中身を知ると、実務で何が変わるか

抽象論で終わらせないために、ここから導かれる実務的な帰結を4つ挙げる。すべて、これまでの各部から直接導かれるものだ。

1. AIの限界は、学習データの限界そのもの（第4部より）

学習は訓練データによる多数決だった。だから、データに存在しないパターンにAIは対応できない。「精度が出ない」とき、モデルを変える前に見るべきはデータだ。そして、あなたの業務データの偏りは、そのままAIの偏りとして出力される。 これは技術で消せない。データの構造の問題だからだ。

2. 「説明できない」は仕様であり、設計で回避すべきもの（第5部より）

ブラックボックス性は語彙の不在に由来するので、後から「説明機能」を足して解決するものではない。だから設計段階で決めるべきだ。説明責任が発生する判断（採用の可否、与信、医療）にAIを単独で置いてはいけない。 AIは候補の提示と優先順位づけに使い、最終判断と説明は人間が担う。この線引きを最初にやるかどうかで、運用が回るかが決まる。

3. 平均は得意、例外は苦手（第4部より）

多数決の帰結として、AIは典型例に強く、レアケースに弱い。したがって業務の切り分けはこうなる。件数が多く、判断基準が似通っている作業をAIに寄せ、レアで高リスクな判断を人間に残す。 全部をAIに任せようとする設計は、たいてい例外処理で破綻する。

4. 「確信度」と「正しさ」は無関係（第3部・第6部より）

ランダムノイズを自信満々に「5」と答えたネットワークを思い出してほしい。AIの断定的な口調は、正しさの証拠を1ミリも含んでいない。 LLMは「次の単語の確率」を出しているのであって、「事実である確率」を出しているのではない。ハルシネーション対策の本質は、AIに正直さを求めることではなく、出力を検証できる仕組みを外側に置くことにある。

最後に

AIの話題は、「すごい」と「危ない」の両極に振れやすい。どちらの語り方も、中身がわからないことから来ている。わからないものは、過大にも過小にも見える。

一方で、中身を知っている人の語り口は、驚くほど地に足がついている。どこが強くて、どこが崩れて、だからどう使うか。その具体性は、仕組みを理解しているからこそ出てくるものだ。

数式を一つも解かなくていい。「巨大な関数」「多数決」「谷を下る」「文脈が意味を書き換える」——この4つのイメージだけでも、AIに対する解像度は決定的に変わる。

そして解像度が上がると、いちばん大きく変わるのは、AIへの評価ではない。AIに任せるべきでない仕事が、はっきり見えるようになることだ。

「AIって、結局なんですか？」

もう一度この質問をされたら、私はこう答えることにしている。

「大量の事例から答えの当て方を、誰にも説明できない形で見つけ出した、巨大な計算装置です。だから、どこで間違えるかを知っている人が使わないと危ない道具です」

長い。でも、空っぽではないと思う。