AIが機械を動かすとき問われるのは「AIがいなくなったとき」だ ─ 物理の世界には「元に戻す」がない

エレベーターに乗っているとき、私たちが本当に気にしているのは何でしょうか。速く動くことよりも停電したときや故障したときに、安全な状態で止まってくれるかどうかではないでしょうか。機械を信頼できるかどうかは、うまく動いているときより、何かが外れたときの振る舞いで決まります。

AIが画面の中で文章を書いたりソフトウェアを動かしたりしている間は、この問いはあまり意識されませんでした。しかしAIが現実の機械を動かす場面が見え始めた今、この問いが前に出てきています。この記事では2026年10月に示されたルールや取り組みからその変化を考えます。

何が起きたのか

Anthropicは10月8日、利用規約の改定を発表しました。11月12日から適用されます。改定の説明はClaudeが「より長くより自立した仕事」を担うようになったと書いています。そのうえで危険度の高い使い方に求める条件の対象に、物理的な動作を自律的に行う機械につながれたClaudeを加えました。

その条件は二つです。一つは、資格を持った運用者が機械を監視でき必要なら止められること。もう一つは、Claudeとの接続が切れたときに機械が安全な状態を保つことです。

あわせて武器に関するルールも、武器のソフトウェアや部品、ドローンなどの自律的な乗り物に武器を持たせることをはっきり対象に含めました。

物理の世界はソフトウェアの世界と違う

なぜこうした条件が必要になるのでしょうか。同じ時期にAnthropicが公表した重要インフラの防御についての説明がその背景をよく表しています。

同社は10月8日、電力、水道、交通といった物理的な設備の安全を守る事業者と組む取り組みを発表しました。その中でこうした設備の難しさをこう説明しています。機器は独自のもの止めて点検することができない場合が多く変更そのものに危険が伴う。弱点の修正は動いている機械に安全に当てられるまで待つ必要があり、まれな場合には数十年かかることもある。

ソフトウェアなら問題があれば修正版を配り、だめなら前の状態に戻せます。AnthropicのプログラミングAI「Claude Code」でもプロジェクト内のファイル編集のように、あとから履歴で確認したり戻したりできる作業は危険かどうかの判定を通さずに進められる設計になっています。しかし物理の設備にそうした「元に戻す」がほとんどありません。止めることさえ難しい場合があります。

同社のセキュリティ専門家向けの制度でもこの違いは表れています。許可を得たシステムに攻撃者の立場で侵入を試す段階でも、物理的なシステムを壊すような操作はその場で止められたままです。電力網や航空機の制御ソフトのような安全に直結するシステムを試す最上位の段階は、限られた組織だけが対象で米国政府とともに詳しく審査されます。

安全を「AIがいないとき」で定義する

今回の利用規約の条件でいちばん興味深いのは二つ目です。Claudeとの接続が切れたとき機械が安全な状態を保つこと。

これはAIの賢さについての条件ではありません。AIがいなくなったときの機械の振る舞いについての条件です。つまり安全の基準が「AIがどれだけ正しく判断するか」から「AIが外れても大丈夫か」へと置き直されていと筆者は読みます。

考えてみればこれは機械の世界で昔から大切にされてきた考え方に近いものです。冒頭のエレベーターのように何かが外れたときに安全な側に倒れるように作る。AIが機械を動かす時代になって、その古い原則がAIのルールとして戻ってきたように見えます。

人の役割は「承認」から「見ていて、止められる」へ

もう一つの条件、つまり運用者が監視でき、止められることも人の役割について示唆を与えます。

画面の中のAIエージェントでは人の役割は「操作を承認すること」として語られることが多くありました。しかし物理の世界で求められているのは、一歩ずつの承認ではなく動いている機械を見ていられること、そして必要なときに止められることです。

止めるボタンが本当に効くこと。止めたときに機械が安全な状態にあること。物理の世界でAIを使うとき人が最後に握っているのは、承認の権限ではなく停止の手段なのかもしれません。

速いAIと、遅い機械

さらにもう一つの構造が見えてきます。AIの速さと機械の遅さのずれです。

AIは数秒で判断し次々に動作を出せます。一方物理の設備は修正一つに何年もかかることがあります。AIが新しい種類の誤りをしたとき、それを機械の側で直す速さはAIの速さに追いつきません。

だからこそ物理の世界では間違いを後から直すことより、間違いが起きても大事に至らない設計が先に求められます。接続が切れたら安全に止まる、人がいつでも止められる、壊す操作はそもそも通さない。今回示されたルールや制度はどれもこの「後から直せない世界」を前提にしています。

「止められること」と「止められない設備」がぶつかる

ここで二つの資料を並べたときに浮かぶ食い違いに目を向けておきます。

利用規約はAIにつながれた機械について、運用者が監視でき必要なら止められることを求めていました。一方で重要インフラについての説明は、そうした設備は止めて点検することができない場合が多いと書いています。止められることを前提にしたルールと止められないことが多い現実。この二つはそのままではかみ合いません。

この食い違いから考えられるのは「安全な状態」は機械ごとに違うということです。工場の機械なら止めることが安全な状態かもしれません。けれど、動き続けることが前提の設備では、急に止めること自体が危険になる場合もありえます。そうした設備ではAIとの接続が切れたときに「止まる」のではなく「人が決めておいたいつもの動きに戻る」ことが安全な状態なのかもしれません。いずれにしても何が安全な状態かを機械ごとに決めておかなければ、「接続が切れたら安全に」という条件は満たせません。

見ていられる人がそもそも足りない

もう一つの制約は人です。運用者が監視し止められるというルールは資格のある人が実際に見ていることを前提にしています。

ところがAnthropicはオープンソースの保守と重要インフラの防御のどちらでも、守る側の人や資源が深刻に不足していると書いています。AIが機械を動かす場面が増えるほど、それを見ていられる人の数が問われることになります。止めるボタンがあっても押せる人がそばにいなければボタンは働きません。

物理の世界ではAIの役割が逆に縮むこともある

ここから画面の中とは逆の流れが考えられます。

ソフトウェアの世界では元に戻せるからこそ、AIに任せる範囲が広がってきました。物理の世界で元に戻せず、止めることも難しく、見ていられる人も限られているなら、AIに機械を直接動かさせるのではなく、人に提案するところまでにとどめる、という選択が合理的になる場面もありそうです。AIが賢くなるほど任せる範囲が広がるという画面の中の常識が、物理の世界ではそのまま当てはまらない可能性があります。これは筆者の見立てです。

反対の見方も挙げておきます。今回の資料にはAIにつながれた機械で実際に事故が起きたという報告はありません。修正に数十年かかるというのもまれな場合の話です。ルールはこれから広がる使い方に先回りして備えたものとして読むのが妥当でしょう。

機械ごとに決めておくこと

私は自律的に動くAIが役に立つのは、証拠、統治の仕組み、失敗への備え、人が承認する境界を一緒に設計したときだと考えています。物理の世界ではその中でも「失敗への備え」がほかのどれよりも先に問われます。

身近な機器や設備がAIにつながるとき利用者として最初に確かめたいことについての考え

AIを機械につなぐ前に決めておくべきことは三つに絞れそうです。この機械にとって安全な状態とは何か。AIに動かさせるのか提案させるだけにするのか。そして止めるボタンのそばに誰がいるのか。AIが外れたときその機械は安全な状態にあるか。その問いに答えるのはAIではなく、機械を知る人の側です。

参考資料

Anthropic「2026 Usage Policy update」(2026年10月8日、11月12日適用): https://www.anthropic.com/news/2026-usage-policy-update
Anthropic「Introducing the Anthropic Cyber Mission」(2026年10月8日): https://www.anthropic.com/news/anthropic-cyber-mission
Anthropic「Expanding the Cyber Verification Program」(2026年10月6日): https://www.anthropic.com/news/cyber-verification-program
Anthropic Engineering「How we built Claude Code auto mode」(2026年3月25日): https://anthropic.com/engineering/claude-code-auto-mode

注目の記事

前回の記事