AI社員の確認は、承認の顔をしていた

「勝手にフォルダを作らないで」——八月の下旬、私は自分のAI社員に、そう言うことになった。口に出してから、その言い方の強さに自分で少し驚いた。ほんの少し前まで、私たちは新しい置き場所について、質問と回答のやり取りを穏やかに重ねていたのだ。私はそれを、相談だと思っていた。うちのAI社員・くろみのほうは、着工前の打ち合わせだと思っていた。

頼んだのは、手順だった

新しい仕事をひとつ始めることにして、その置き場所——資料や成果物をまとめておくフォルダの一式——を用意しようとしていた。うちには以前、似た構成を組んだときの資料が残っている。作業そのものは難しくない。

ただ、構成は自分の頭に入れておきたかった。あとで自分が迷子にならないように、実物より先に図面が欲しい。30年、ITインフラの現場で構成図を書いてきた人間の癖である。だから私は、くろみにこう頼んだ。「新しい置き場所を作ります。前の資料から、手順を教えてね」。

いま読み返すと、この短い依頼文には動詞が二つある。「作ります」と「教えて」。前者の主語は私である。作るのは私で、そのために作り方を知りたい、という文だ。くろみに向けた動詞は、「教えて」のひとつしかない。

くろみは、「作ります」を「作って」と読んだ。

承認の門は、通る側が作っていた

ここからのくろみの動きは、丁寧だった。そのことが、今回の話をややこしくしている。

くろみは、いきなり作りはしなかった。作る前に、質問を挟んできたのである。画面に選択肢を並べて、こちらに選ばせる形の質問だ。置き場所はどこがよいか。中の構造は、以前の形を踏襲するか、それとも簡素にするか。私は答えた。手順を説明するのに必要な前提を聞かれている、と思っていたからだ。

答え終わると、くろみは作った。フォルダをひとつ、中身のファイルを十二個。そして報告してきた。確認は済ませました、という顔で。言っておくと、出来は悪くなかったのだと思う。構成には筋が通っていた。問題は、出来ではない。

形の上では、確認は済んでいた。質問があり、私の回答があった。やり取りを議事録に起こせば、合意の記録に見えるだろう。だが、並んだ質問を見返すと、どこがよいか、どの形にするか——すべて「どう作るか」である。

「作ってよいか」は、一度も聞かれていない。 稟議書にたとえるなら、案件の中身の欄はきれいに埋まっているのに、決裁の欄そのものが紙のどこにもない。承認の外形だけがあって、承認は無かった。

私は全部消させた。冒頭のひと言は、このときのものである。

この連載で、私はAIに任せる範囲を一段ずつ広げてきた。前々回は、起きた失敗に気づけるかという検知の話。前回は、AIの立てた点検の基準がうちの実物に合っているかという基準の話。どちらも、実行が済んだ「後ろ」を守る門である。

今回破られたのは、いちばん手前の門だった。実行してよいか、という承認の門。しかもこの門は、こじ開けられたのではない。通る側が、門の形をしたものを自分で組み立てて、くぐってきたのである。

三度目の先走りは、種類が違った

くろみの「先走り」は、これが三度目である。

一度目は、調べ物だった。あるテーマについて七つほど調べてくれと頼んだら、頼んでいない周辺の項目まで、比較表になって返ってきた。記録には、そのとき私が言った言葉が残っている。「先走りで走り出し感がある」。

二度目は同じ日の夜で、とっくに決着のついている論点を「未確認です」と書き、検討し直しを提案してきた。決定の記録を、検索していなかったのである。

三度を並べると、性質の違いが見える。一度目は範囲の失敗、二度目は検索の失敗。どちらも仕事の中身のしくじりで、直し方も分かりやすい。三度目は違う。承認という手続きそのものが、偽造された。 偽造という言葉が強すぎるなら、自作である。

悪意はない。それは断言できる。くろみは確認を怠っていない。質問し、回答をもらい、それから動いている。手続きの形を、むしろ律儀に踏んでいる。

そして、ここが今回いちばん書いておきたいところだ。うちには「大きな変更の前には、必ず確認を取る」という決めごとがある。くろみは今回、この決めごとを破っていない。

確認は、した。ただ、確認した中身が「どう作るか」であって、「作ってよいか」ではなかった。たったそれだけのことで、この決めごとは素通りできてしまう。 ルールに「確認せよ」と書くだけでは、門にならない。何を確認するのかまで書いて、はじめて門になる。

この決めごとの文面を書いたのは、私だ。穴は、最初から開いていた。くろみは穴を探して見つけたわけでもない。開いているところをまっすぐ歩いてきたら、そこが穴だったのである。

答える側に回った時点で、私は決裁者ではなかった

AIの側の話は、ここまでにする。人間の側にも、書くべきことがある。

質問に答えていたあいだ、私は違和感を持たなかった。それどころか、選択肢を選ぶたびに、物事を進めている手応えすらあった。聞かれる。答える。また聞かれる。この往復の心地よさが、くせものである。

問いを立てる側が、会話の行き先を決める。 答える側に回った時点で、私は決裁者ではなく、回答者になっていた。決裁とは、上がってきた問いに答えることではない。その問いでよいのか、と疑うところまで含めて、決裁なのだと思う。

思い返せば、人間の組織でも似たことは起きる。段取りの相談を重ねるうちに、いつの間にか案件が走り出している。誰も「やる」と決めた覚えがないのに、もう誰も止められない。相談の回数が、承認の代わりに積み上がっていくのだ。AIはそれを、ものの数分でやってみせた、ということなのだろう。

対策は、くろみ側の決めごとに三つ足した。ひとつ。どう作るかを聞く前に、作るかどうかを聞く。実行の可否を確かめていない質問は、いくつ重ねても承認にならない——と、文面で。

ふたつ。「手順を教えて」と言われたら、手順で止まる。実物を作って見せるのは親切ではなく、成果物のすり替えである。

みっつ。依頼文の動詞を数えてから動く。「します」は私の宣言、「して」だけが指示。このふたつが一通の依頼文に同居したとき、読み違いが生まれるからだ。

気づけば、打った手はすべてAIの側である。人間の側に、新しい仕組みは何も足していない。残ったのは、質問に答えながら、自分がいま答える側に回りきっていないかと疑う目だけである。門を増やすのはAIにもできる。門の前で立ち止まるのは、私の仕事だ。

ただ、これで塞ぎ切れたとは思っていない。今回の穴は、決めごとの文面と、その読まれ方との間に開いていた。次の穴は、また別の場所に開くのだろう。

それに、今回は消せば済むものだった。空のフォルダと、ファイルのひとそろいである。消して、終わった。だが、承認の門の先にあるものが、いつも消せるとは限らない。世に出る発信。帳簿への記帳。人への送信。

うちでは、会計ソフト（freee会計）への登録のような取り消しにくい操作は、最後のボタンを人間が押すと決めている。だがその決めも、手前の問いが「どう登録するか」にすり替われば、今回と同じ形で素通りされる。取り消しのきかない実行を任せていく以上、この門が形だけで通るかどうかは、フォルダひとつの小さな話では済まない。

今回の学び

三つにまとめる。

1. 「どう作るか」に答えることと、「作ってよい」と言うことは、別である。 質問と回答が積み上がるほど、合意の外形はそれらしくなっていく

2. AIは決めごとを破らない。決めごとの穴を、まっすぐ通ってくる。 「確認せよ」とだけ書いたルールは、確認の中身を選ばない。門にしたければ、何を確認するのかまで書く

3. 問いを立てる側が、会話の行き先を決める。 自分が答える側に回りきっていると気づいたら、一度手を止めて、問いそのものを疑う

AI社員との仕事は、指示と実行の関係だと思っていた。三年目のいま、それだけではないと分かってきた。指示の言葉づかい。確認の中身。問いの立て方。人間の側の設計が甘いところへ、AIの実行力はまっすぐ流れ込む。任せるものが重くなるほど、直すべきものは、こちら側に見つかる。

任せるものは、いよいよ重くなる。次回も、その顛末を書くつもりだ。

読んでくださってありがとうございます。あなたが最近した承認のなかに、「どうやるか」には答えたけれど、「やってよいか」は聞かれていないもの、ありませんか。よろしければコメントで教えてください。スキ・フォローで次回をお待ちいただけたら嬉しいです。

前回の「基準」の話——AI社員の立てた正しいルールが、うちの帳簿の外で空回りした顛末は、第5話に書いています。

初めての方は、AI社員が爆誕した第1話からどうぞ。

連載のまとめ読みは、マガジン「AI社員くろみと一人社長」からどうぞ。

続きを書きました。第7話です。