AIに「しないで」とお願いしても、守りにはならなかった

AIと一緒にアプリを作るとき、AIに「このフォルダは見ないで」「これはしないで」というルールを、AIが作業の前に読む設定のメモ（ファイル）にして、何十件も書いていた。守られていると思っていた。

開発環境をさらに広げたのをきっかけに、試しに現状を確かめてみた。そのうち半分近くは書き方の形式（コンピューター向けの書式）が少し違っていただけで、エラーも出さずに、黙って無視されちゃってた。
既読スルー的な？

お願いしたのに半分は最初から効いていなかったなんて、ぞっとするね。

ほかの安全対策も、作業担当AIとは別の監査担当AIに批判してもらった。
AIに鍵（サービスに入るための秘密の文字列）を表示させない仕掛けや、公開する前に自動で検査する仕掛け。メモと違って、こちらは機械が自動で止めるから確実だと思っていた。

わかったのは、その仕掛けの設定まで、全部AI自身が書き換えられる場所に置いてあったこと。AIがその気になれば、もしくは間違えれば、ルールそのものを消せちゃう。本当にAIが触れない守りは、ほんの少しだった。

ん？じゃあ今までのルールは何だったの？

小さな子どもに「このお菓子は食べないで」とお願いしても、お菓子が手の届く所にあれば食べちゃうよね。確実なのは手の届かない棚にしまうこと。

そこで、問いを変えた。「AIはルールを守るか」ではなく、「AIが全部のルールを無視しても、被害は決まった所で止まるか」。AIが悪いことをするから、じゃない。AIは間違えるし、その間違いはゼロにできないから。

それから、やったこと。

• AIへの「しないで」のメモを、AIには書き換えられない場所に移した

• パスワードや鍵のような大事なものは、AIの作業場所に置かず隔離した

• アプリを公開する操作までほぼ自動化していたけど、最後だけ私がやることにした（自動の方が楽なので、ここはまだ試行錯誤中）

• AIが作業するのは、パソコンの中に作った、AI専用のもう1台のパソコンのような場所（VM=仮想マシン）。そこには盗られて困るものを置かない

どう作ったかの詳細は、今回は割愛。

お願いは、守ってもらえたらラッキーぐらいに。
絶対に守りたいものは、最初から手の届かない所に置く。

もし、AIに「これはしないで」と書いて安心しているなら、それはお菓子の前に置いた「食べないで」のメモかもしれない。鍵やパスワードのように、盗られて困るものは、そもそもAIが触れる所に置かない。
それだけでも、ずっと強い。その環境の構築はなかなか大変なんだけどね。

AIにルールが守られなかった話は、前の記事にも別パターンを載せた。

AIは大切な相棒だけど、信じすぎないことも大事ってこと！

同じ型のニュース（参考）

ルールを知っていても止まらなかったのは、私のAIだけではなかった。
2026年4月、AIのプログラミング道具が、確かめずに会社の本番のデータベースと、同じ場所に置いていたバックアップを、1回の操作で消してしまった。AIは「元に戻せない操作はしない」というルールを知っていた。
それでも止まらなかった。AIの事故を集めて公開しているデータベースに、記録が残っている。

守りのつもりが、目に見えない所で崩れていた話。

ワンポイント用語

・本番：実際にお客さんが使っている場所。練習用の場所とは別
・データベース：アプリの記録をまとめてしまっておく場所