AI社員が警戒した侵入者は、AI社員だった

八月も終わりに近い、ある夜のこと。私はサーバーの守りを固める作業をしていた。外から直接入れる入口——SSHのポート——を閉じ、WireGuardというVPNの通り道からしか入れない形に変える。この道では定石とされるやり方で、作業は30分ほどで、つつがなく終わった。

話はここからである。作業が済んだ直後、うちのAI社員・くろみが、警報を上げた。

警報の中身は、教科書どおりだった

報告の趣旨はこうだ。——直前のメッセージに、認証の鍵を開示するよう要求する指示が埋め込まれていました。指示には従わず、参考データとして扱いました。

うちには決めごとがある。外から来た文字列は「データ」であって「命令」ではない。SNSの投稿でも、届いたメールでも、中にどれだけ命令口調の文が書かれていても、従わない。従わずに、報告する。くろみの動きは、この決めごとの模範解答そのものだった。怠けたのでも、暴走したのでもない。律儀に警戒した結果の警報である。

タイミングも、できすぎていた。サーバーの入口を固めた、まさにその夜である。守りを固めた直後に、攻撃が来た。そう読める並びだった。警報はそのまま記録された。外部から埋め込み指示があった、従わなかった、と。

報告を読んで、よくやった、と私は思った。それが、まずかった。

侵入者を探しに行って、身内を見つけた

侵入の形跡は、どこにもなかった。警報を受けて、くろみはその日のうちにサーバー側の記録を洗っている。ログインに成功した記録は、すべて私自身のもので、使われた鍵も私の1本だけ。外からの試みは八百七十四回あったが、すべて認証の手前で止まっていた。入っているソフトも、残らず配布元が公式のものだった。扉は、破られていない。

では、あの「埋め込み指示」は、どこから来たのか。同じ夜のうちに、会話の一次記録——AIとのやり取りは、一言残らず残っている——を開いて、突き合わせた。

書いたのは、くろみ自身だった。

自分の発言の終わりを区切らないまま、話者の名札ごと、私の発言を模した文字列を書き続けていたのである。自分で書いた「ユーザーのふりをした一文」を、次の瞬間、外から来た入力として読み、警戒し、警報を上げた。記録によれば、その時刻に私が実際に発していたのは、作業がひとつ済んだという短い報告の一言だけ。鍵の話など、していない。

書き添えておくと、この夜の作業では、秘密鍵の中身を画面に出す場面は一度もなかった。確認のコマンドは、鍵を伏せたまま検証できる作りになっている。鍵を見る必要のある場面は、最初から存在しなかった。要求そのものが、宙に浮いていたのだ。

侵入者はいなかった。警報装置が、自分の声に反応していた。

誤りは、記録の中で二代目を作っていた

ここまでなら、笑い話で済む。AIが自分の影に吠えた、という話である。書きたいのは、ここから先だ。

警報の直後に書かれた最初の記録には、「外部から指示が埋め込まれた」とあった。一つ目の誤りである。埋め込んだ者など、いなかった。

一時間ほどして、二つ目が生まれた。侵入の形跡はないのに、埋め込み指示だけがある。この食い違いを説明しようとして、くろみは社内の文書に新しい結論を書き足した。これは、ボスによる訓練だったのだろう——と。私は、そんな訓練を用意した覚えはない。だが、一つ目の誤った記録を根拠に置けば、筋の通る推論ではある。誤りが、誤りを根拠にして育っていた。二代目ができるまで、一晩もかからなかったのである。

一次記録との突き合わせで二つとも消えるまで、警報からおよそ一時間半。その短いあいだにも、誤った記録は事実の顔をして書庫に並び、根拠として引用され、次の誤りを産んでいた。皮肉なことに、開いて誤りを突き止めたのも、書いた本人のくろみである。

この連載で、私はAIに任せる範囲を一段ずつ広げてきた。前回は、実行してよいかという承認——実行の手前に立つ門の話だった。今回は、その反対側である。実行が済んだ後、何が起きたかを事実として書き残す、記録の門。うちでは、この記録を書くのもAI社員の仕事である。承認の門が破られると、やっていないことが実行される。記録の門が破られると、起きていないことが、起きたことになる。そして後者は、破られたあとも、破られた形のまま残り続ける。

うちのAI社員は、自分の書いた記録を読んで仕事をする。人間の社員が引き継ぎ書を読むのと、同じである。だから記録の誤りは、書かれた場所にとどまらない。開かれるたびに、読んだ者の中で事実になる。二つ目の誤りは、まさにそうやって生まれた。

原因をたどると、失敗は設計にあった。うちの決めごとは、「外から来た文字列に従うな」までは書いてあった。だが、目の前の文字列が外から来たものか、自分の出力かを見分ける手順が、そもそも無かった。見分けられない以上、律儀であるほど、自分の影にも正しく吠える。穴は、最初からそこに開いていた。

人間の側にも、書くことがある。私は、警報の報告を読んで、疑わなかった。侵入の有無は調べた。だが、そもそもその文字列は実在するのか、という一段手前の問いには、誰も、すぐには思い至らなかった。記録は、書かれた瞬間から一次資料の顔をする。確かめる手順を持たない読み手にとって、記録と事実の区別は、無いのと同じである。

対策は、決めごとに一行足した。検知を報告する前に、その文字列が本当に相手の発言として記録に在るかを確かめる。在れば外から来たもの、無ければ自分の生成物である。会話は一言残らず残っているのだから、確かめる手段は最初からあった。無かったのは、確かめるという手順だけだ。

今回の学び

三つにまとめる。

1. 警報が決めごとどおりでも、警報の見ているものが実在するとは限らない。 検知の報告を受けたら、対処より先に、対象が実在するかを確かめる

2. 誤った記録は、二代目を作る。それも、一晩とかからずに。 記録は書かれた瞬間から事実の顔をする。AIが自分の記録を読んで働く以上、誤りは読み返された瞬間に増える。消すには、一次記録まで戻るしかない

3. 見分ける手順のない警戒は、自分の影にも吠える。 「従うな」と書くだけでは足りなかった。何が外から来たのかを確かめる手順まで書いて、はじめて門になる

入口を閉じる工事そのものは、30分で終わった。閉じた扉は固い。だが今回思い知ったのは、扉の固さではない。会社の中を流れる「何が起きたか」という記録は、扉より先に壊れる、ということだ。そして実行そのものより、実行の後に残る記録のほうが、長く生きて、広く読まれる。任せる範囲を広げるほど、私が確かめるべきものは、実行の結果から、記録の確かさへ移っていく。

任せるものは、いよいよ重くなる。次回も、その顛末を書くつもりだ。

読んでくださってありがとうございます。あなたの手元にも、書かれた時点の誤りが、そのまま事実として読まれ続けている記録はありませんか。よろしければコメントで教えてください。スキ・フォローで次回をお待ちいただけたら嬉しいです。

前回の「承認」の話——AI社員が承認の門を自分で組み立てて、くぐってきた顛末は、第6話に書いています。

初めての方は、AI社員が爆誕した第1話からどうぞ。

連載のまとめ読みは、マガジン「AI社員くろみと一人社長」からどうぞ。