「あるはずです」とAIは言った。開けたら、空っぽだった

半年ほど前、私がAIと作ったアプリは一覧に40個以上並んでいた。
その中で集めているニュースを、別のアプリの合成音声で読み上げさせたらおもしろそう！アプリ同士を繋げられないかAIに相談したらこう言われた。

「ニュースを集める仕組みは、アプリAやアプリBにあるはずです」

AIが自信たっぷりだったから、そうなんだ！ってそのまま受け取りかけた。でも、少しして、そんな機能あったっけ？って引っかかって、自作アプリの一覧（作ったアプリと、それぞれ何ができるかを並べた表）を開いた。

結果、AIが名前を挙げた2つのアプリには、その仕組みは無かった。
「ある」と言われた場所は、空っぽだった。ニュースを集めていたのは、別の、ニュースを集めて読むためのアプリだった。

AIは、アプリの一覧を確認せずに推測で答えていた。そのまま進んでいたら、無い機能を前提にした誤った提案で進むところだった。

ヒヤッとしたのは、外から入ってきた怪しい情報ではなく、AI自身の答えがまったくあてにならなかったこと。身内に騙されたような気持ち。

そのあと、AIが毎回読むルールのメモに「他のアプリのことを話す前に、まず一覧を確かめてから答える」と書き足した。一覧で1つ探すだけなので、数秒で済む。でも、これは文章のルールで、機械が止めてくれる仕組みじゃない。だから、受け取る私の側でも聞き返すことにした。

AIの「あるはず」は、「まだ確かめていない」かもしれない合図。

もし、AIに「〜にはこの機能があるはずです」と言われたら、「どこに書いてある？」と一言だけ聞いたほうがいい。
ルールを書いておいても、毎度のことながらAIが必ず守るとは限らないしね。不安なときは、自分でも一度確認してみる。

AIの推測あるあるは、ほかにも数字ネタとして「それ、試した数字？」「何を数えた数字？」と別の記事でも書いたけど、いろいろあって未だに厄介。

同じ型のニュース（参考）

AIの「あるはず」は、攻撃の入り口にもなっている。AIがプログラムに使う部品（パッケージ）を勧めるとき、存在しない名前を言ってしまうことがある。攻撃者はその名前で先に偽物を登録して、AIの勧めどおりに入れた人に、悪いプログラムを取り込ませる。「スロップスクワッティング」と呼ばれている。

セキュリティ会社トレンドマイクロの解説。専門的な内容

ワンポイント用語

・スロップスクワッティング：AIが作り出してしまった「存在しない部品の名前」を、攻撃者が先に登録しておく手口。slop は「質の低いAIの出力」、squatting は「先に居座る」
・パッケージ：プログラムを作るときに組み込む、ほかの人が作った部品