AI社員の失敗は、失敗の顔をしていなかった

7月下旬のある昼、私は投稿の予約をひとつ削除した。時刻を設定し間違えたからだ。消えたことを確かめ、手で投稿し直して、この件は終わった——はずだった。16分後に何が起きていたのかを私が知るのは、3日後である。

発信も、AI社員に任せ始めた

前回は、お金の話だった。今回はその外側、会社の「評判」に関わる話である。時間、お金、ときて、任せるものがまた一段重くなった。そして前回が「誰が何をするか」という線引きの話だったとすれば、今回は「起きた失敗に、どう気づくか」という話だ。線を引いても、失敗は起きる。問題は、起きたことに気づけるか、である。

第2話で、うちのAI社員・くろみに留守番——朝の見回りやメールの確認——を任せた話を書いた。その続きで、私は次の一段を任せることにした。会社の発信である。このnoteの連載に、XとThreadsでの毎日の投稿。下書きをくろみが作り、私が検品する。XとThreadsは時刻を決めて予約し、時間になれば自動で世に出る運用だ。

帳簿と違って、発信は世間に向いている。出た瞬間から取り消しがきかないし、しくじって傷つくのは会社の評判である。だから検品は必ず私が挟む。そう決めて始めた。

先に約束しておく。今日は、うまくいった話ではない。始めて二日のうちに、うちの発信は三度転んだ。そして三度目は、転んだことに3日間、誰も気づかなかった。

一度目と二度目は、目で拾えた

一度目。予約したはずの投稿が、時間になっても出なかった。これは分かる。出るはずのものが出ていないことは、画面を見れば見える。対策として「予約したら、一覧で成立を確かめる」を手順に足した。

二度目はその翌日。今度は予約の時刻を設定し間違えた。これも目で見れば分かる。「予約のあとに、日時をもう一度目で確かめる」を足した。

ここまでは、正直、たいした話ではない。人間の注意力で拾える失敗だからだ。エラーが出る。あるいは「出ていない」ことが見える。気をつければ済む。二度あることは三度ある、と言うが、三度目は種類が違った。

三度目——消したはずのものが、動いた

冒頭の場面に戻る。時刻を間違えたその予約を、私は削除した。画面から消えたのも見た——つもりだった。手で投稿し直して、この件は終わったと思っていた。

16分後、消したはずの予約が動いた。同じ文章が、もう一度世に出た。消し方が悪かったのか、消えたことの確かめ方が足りなかったのか。いずれにせよ、消えたと思い込んだのは、こちらである。

手元に残ったのは「日時指定の投稿がされました」という通知ひとつだった。異常を知らせる赤い警告ではない。お仕事が済みました、という顔の、いつもどおりの通知である。当時、誰もそれを気に留めなかった。

そこから3日間、誰も気づかなかった。私も、くろみもだ。投稿の画面は毎日見ている。おかしなところは、何もなかった。念のために書いておくと、出た文章そのものに問題はない。私が検品して通した、正規の文章である。それが2回出た、というだけだ。エラーは出ない。警告も出ない。二重投稿は、「普通の投稿が2つあるだけ」という顔をしている。 画面の上では、すべてが正常だった。

発覚は、偶然である。3日後、別件で投稿の数字をまとめて取り出したら、同じ文章が2行、並んでいた。行として並べて、初めて「2つある」ことが見えた。画面の見た目を確かめる運用のままだったら、おそらく今も気づいていない。

同じ週に、もう一度。今度は人の相手で

同じ週、種類の同じ見落としが、もう一つ起きていた。今度は機械ではなく、人の話である。

投稿にコメントをくださった方がいて、私は返信をした。するとその方が、さらに返してくださっていた。それに、1時間気づかなかった。

翌日、同じことがまた起きた。今度は3日間である。会話の途中で、こちらが黙って席を立った形だ。相手からは、返事をしたのに立ち去られた、と見えていてもおかしくない。発信の重複より、こちらのほうがよほど応えた。機械の重複は消せば済むが、人への非礼は消せない。

調べて、腑に落ちた。画面の通知一覧では、自分が返信したあとの相手の再返信は、たどらないと出てこない場所に潜り込む。そして、それを毎回たどりにいく決めごとを、うちは持っていなかった。つまりこれも、画面を見ているだけでは気づけない失敗だった。二重投稿と、まったく同じ構造である。

対策を並べたら、性質が変わっていた

転ぶたびに、対策を打ってきた。あとから並べてみて、気づいたことがある。対策の性質が、一段ずつ変わっていたのだ。

1. 気をつける —— 予約が失敗した。次から注意する

2. 手順で確かめる —— 時刻を間違えた。目で見て確認する手順にした

3. 仕組みに見張らせる —— 人の目に映らない失敗が起きた。毎朝の点検に「返信を返していない相手はいるか」の一行を足し、画面ではなく、数を並べて照合することにした

30年、ITインフラの現場でメシを食ってきた。「人間の注意力には限界がある」という教訓なら、若い頃から嫌というほど知っている。今回の発見は、その先だった。限界の内側ですらなかった。そもそも人間の目に映らない場所で、失敗は起きていた。 注意力を鍛えても届かない。見る場所を変えるしかない。

見張り役には、終わりを決める

では、見張りを増やせば増やすほど安全なのか。そうはならなかった、という話を最後に書く。

第2話に書いた「返事を待つメールの見回り」には、続きがある。7月下旬、待っていた返事がようやく届いた。その日、見回りは役目を終えた。私は、その仕組みを消した。うちには「終わりを決められない見回りは、作らない」という決めごとがある。見張り役は、要らなくなる日を決めてから置く。届いたら、消す。我ながら、きれいな話だと思う。

きれいな話では、終わらなかった。8月に入り、今度は承認の仕組みを一つ増やした。外出先のスマホから投稿を承認できる経路である。結果から書くと、丸一日もたずに撤去した。

まず、二重承認だった。本文はすでにチャットで承認済みなのに、同じものにもう一度承認を求めてくる。次に、朝の枠は構造的に間に合わなかった。承認の期限が投稿の時刻と同じで、起床が数分遅れただけで落ちる。仕上げに、1日5件の承認依頼が並び、頼んだ本人の私が混乱した。実害も出た。朝の投稿が1本落ち、くろみが手で投稿してリカバリした。

白状すれば、発端からして私の思い違いである。外から承認できる経路が前からあると思い込んでいたのだが、確かめると、もともと存在していなかった。無いと知って、作らせ、一日で壊した。確認のための仕組みが、それ自体、新しい失敗の発生源になったのだ。

見張り役を増やすのは簡単だ。だが増えた見張りは、それ自体が新しい確認作業になり、新しい事故の置き場になる。任せることと、放っておくことは違う。そして、見張らせることと、見張りを増やし続けることも、また違う。

今回の学び

三つにまとめる。

1. 人間の失敗はエラーが出る。AIの失敗は、正常な顔をして混ざる。 事故の日も、画面の上では平常の日と同じに見えた

2. だから「確認する」では足りない。測る必要がある。画面を眺めるのではなく、数を並べて照合する。二重投稿も、返しそびれた返信も、数字にして初めて見えた

3. 見張り役は置く。ただし、終わりを決めてから置く。 終わりのない見張りは、それ自体が次の事故の芽になる

次回も、しくじった話を書くつもりだ。任せるものは、回を追うごとに重くなっていく。

読んでくださってありがとうございます。あなたがAIに任せた仕事で、気づかないうちに起きていた失敗はありませんか。「うちはこうやって見つけた」という話があれば、コメントで教えてください。スキ・フォローで次回をお待ちいただけたら嬉しいです。

前回の「お金」の話——金庫の鍵を渡さなかったのに、それでも二重計上が起きた顛末は、第3話に書いています。

初めての方は、AI社員が爆誕した第1話からどうぞ。

連載のまとめ読みは、マガジン「AI社員くろみと一人社長」からどうぞ。

続きを書きました。第5話です。