AIはトロッコ問題から逃げられない

副題

自動運転が、生死の選択を思考実験から制度設計へ変えるとき

序章｜人間なら、その場から立ち去ることができる

以前、トロッコ問題について記事を書いた。

一本の線路の先には五人がいる。

レバーを切り替えれば、別の線路にいる一人が犠牲になる。

五人を救うために、一人を犠牲にするべきか。

それとも、自分からは何もせず、五人が犠牲になるのを見届けるべきか。

倫理学ではおなじみの思考実験である。

私が出した答えは、少し変わっていた。

「急いでその場から立ち去る」

偶然そこに居合わせただけの人間が、なぜ五人と一人の生死を決める裁定者にならなければならないのか。

レバーを操作すれば、一人を死なせたという自責が残る。

捜査や裁判に巻き込まれる可能性もある。

仕事や社会的信用を失うかもしれない。

本人だけではない。

家族や恋人、友人まで、その選択の余波に巻き込まれる。

五人と一人だけを数えても、現実の損失は計算できない。

レバーを握った人間と、その人を取り巻く世界まで含めなければならない。

だから私は、引き受けきれない役割そのものを拒否する。

人間には、そういう選択ができる。

しかし、自動運転AIには、それができない。

自動運転車は、すでに道路を走っている。

危険が迫ったとき、ブレーキを踏むのか。

直進するのか。

右へ避けるのか。

左へ避けるのか。

速度を維持するのか。

停止するのか。

何もしないことさえ、現在の速度と進路を維持するという一つの制御になる。

人間はレバーから手を離して立ち去れる。

だが運転を担うAIは、事故の因果関係から立ち去ることができない。

ここでトロッコ問題は、単なる倫理学上の遊びではなくなる。

それは、自動運転技術を社会へ導入するとき、誰がどの判断をあらかじめ決めるのかという、制度設計の問題へ変わる。

第一章｜トロッコ問題はAIの学習に使われているのか

自動運転とトロッコ問題を結びつけた有名な研究に、MITの研究者らが行った「モラル・マシン」がある。

そこでは、自動運転車が避けられない事故に直面したという設定で、

乗員と歩行者のどちらを救うのか。

一人と複数人のどちらを救うのか。

若者と高齢者のどちらを救うのか。

人間と動物のどちらを救うのか。

といった判断が世界中の参加者へ提示された。

研究では、233の国と地域から約4,000万件の選択が集められ、人々の判断には共通傾向がある一方、文化圏による違いも確認された。(Nature)

ただし、この結果がそのまま自動運転AIの教師データとなり、市販車へ組み込まれているわけではない。

モラル・マシンが示したのは、

「AIは誰を犠牲にするべきか」

という正解ではなく、

「人間社会は、機械に何をさせたいと思っているのか」

という期待の分布である。

しかも、多数決で得られた社会的好みを、そのまま政策や自動運転の判断規則にしてよいとは限らない。

多数派が高齢者より若者を優先したとしても、それによって高齢者の生命価値が低いと制度化してよいわけではない。

社会に偏見が存在するなら、多数決はその偏見まで増幅する。

実際、モラル・マシンの結果を政策決定の直接的な土台にすることには、研究者からも批判が出ている。(Nature)

つまり、トロッコ問題はAIに正解を教えるために使われるというより、

機械に判断を委ねようとしたとき、人間社会の価値観がどれほど矛盾しているかを露出させる

ために役立っている。

第二章｜AIには「関わらない」という選択がない

人間のトロッコ問題では、レバーを操作する前なら、その場を離れることができる。

私はこの役割を引き受けない。

この事故を作ったのは私ではない。

管理責任もない。

五人と一人の人生を、自分一人で裁定する権利など持っていない。

そう考えて、因果関係の外へ退くことができる。

だが、自動運転AIは運転機能として、最初から因果関係の内部にいる。

ブレーキをかけないことも制御である。

ハンドルを切らないことも制御である。

現在の進路を維持することも制御である。

AIにとって問題は、

「判断するか、判断しないか」

ではない。

「どの判断規則に従って動くか」

である。

現在一般に販売されている運転支援車の多くでは、依然として人間が運転責任を負う。

一方で、高度な自動運転では、特定の条件や領域の中でシステム側が運転操作を担い、人間が常時監視しない状態が想定される。NHTSAも、運転支援と、システムが運転を担う高度自動化を区別している。(NHTSA)

自動化の段階が上がるほど、事故の瞬間に、

「人間がどう反応したか」

ではなく、

「システムがどのように設計されていたか」

が問われるようになる。

AIには恐怖がない。

罪悪感もない。

家族もいない。

裁判にかかる年月を苦痛として経験することもない。

だからといって、AIが無責任なのではない。

AIは責任を感じないからこそ、事故が起こる前に、人間が責任の置き場所を決めておかなければならない。

第三章｜本当の答えは、事故の直前にはない

トロッコ問題では、すでにトロッコが暴走している。

五人と一人は線路に縛られている。

停止装置はない。

助けを呼ぶ時間もない。

できることは、レバーを切り替えるか、そのままにするかだけである。

だが、現実の交通事故は、最後の一秒だけで生まれるわけではない。

速度は適切だったのか。

車間距離は十分だったのか。

センサーは正常だったのか。

視界の悪い場所で減速したのか。

道路の構造に問題はなかったのか。

歩行者が侵入できる場所に柵はあったのか。

システムが判断できる走行環境だったのか。

異常を検知した時点で、安全に停止できなかったのか。

事故とは、多くの場合、最後の二択より前に存在した小さな判断の積み重ねである。

ドイツの自動運転倫理委員会も、自動運転技術は、そもそも重大な二者択一が発生しないよう設計されるべきだとしている。

走行環境の限定、センサー、制動性能、危険を知らせる仕組み、道路インフラなど、利用可能な技術を総動員し、防御的で予測的な運転によって危険状況そのものを減らすことを求めている。(BMV)

これは、以前のトロッコ問題の記事で書いた問いと同じである。

なぜ線路に人が寝ているのか。

なぜそこへ侵入できたのか。

なぜ監視されていなかったのか。

なぜ暴走するトロッコを停止できなかったのか。

なぜ最後に居合わせた一人へ、すべての責任が押しつけられるのか。

トロッコ問題は、事故の最下流だけを切り取っている。

だが本来問われるべきなのは、もっと時間の上流にある。

自動運転AIに求めるべきなのも、

「一人と五人のどちらを殺すかを上手に判断すること」

ではない。

一人と五人のどちらかを殺さなければならない状況へ、そもそも入らないこと

である。

トロッコ問題の最善解は、レバーの操作方法ではない。

レバーを操作しなければならない状況を、可能な限り発生させないことだ。

第四章｜AIに誰を犠牲にするか教えるのか

それでも、事故を完全にゼロにはできないかもしれない。

そこで問題になる。

避けられない事故が起きたとき、AIは何を優先するのか。

乗員か、歩行者か。

一人か、五人か。

若者か、高齢者か。

交通ルールを守っている人か、違反している人か。

身体の丈夫な人か、弱い人か。

一見すると、できるだけ多くの命を救うという原則が合理的に見える。

だが、人数だけを基準にすれば、一人の人間を複数人のための手段として扱うことになる。

年齢を基準にすれば、高齢者の生命価値を低く置くことになる。

健康状態を基準にすれば、障害や病気を持つ人が不利になる。

法律を守っているかどうかを基準にすれば、機械がその場で裁判官になる。

ドイツの自動運転倫理委員会は、避けられない事故において、年齢、性別、身体的・精神的状態などの個人的特徴によって人を選別することを禁止すべきだとしている。

また、具体的な一人の命と別の一人の命を単純に相殺する判断は標準化できない一方、事故による負傷者や死亡者を全体として減らす一般的な設計は正当化され得るとしている。(BMV)

ここには、消えない緊張がある。

人命を数で比較してはならない。

しかし、被害を減らす努力はしなければならない。

個人の属性によって命を選別してはならない。

しかし、システムは何らかの制御を実行しなければならない。

つまり、自動運転倫理とは、完全に正しい答えを見つけることではない。

どの不完全さなら、社会として引き受けられるのかを決めること

である。

第五章｜走る・曲がる・止まる、そして判断する

自動車の基本性能は、長いあいだ三つの言葉で表されてきた。

走る。

曲がる。

止まる。

どれだけ速く走れるのか。

どれだけ思いどおりに曲がれるのか。

危険を察知したとき、どれだけ短い距離で安全に止まれるのか。

この三つは、移動の性能であると同時に、人命を守るための最重要項目でもあった。

しかし、自動運転が一般化すれば、ここにもう一つの性能が加わる。

判断する。

何を危険と認識するのか。

どの時点で減速を始めるのか。

直進するのか。

左右のどちらへ避けるのか。

停止するのか。

そして、すべての被害を避けられないとき、どの動作を選ぶのか。

人間が運転する自動車では、走る、曲がる、止まるという機能を使って、最後の判断を下すのは運転者だった。

自動運転車では、認知、予測、判断、操作の一連の過程をシステムが引き受ける。

ここで自動車は、単なる移動機械ではなくなる。

道路状況を解釈し、複数の未来を予測し、その中から一つの結果を選ぶ機械になる。

けれど、AIが選ぶのは絶対的な正解ではない。

事故を完全に避けられない状況では、正解そのものが存在しないこともある。

残されるのは、消去法である。

多人数へ衝突する選択肢より、少人数へ被害が限定される可能性。

人間へ衝突する選択肢より、動物や物体への衝突で済む可能性。

重大な傷害を生む選択肢より、より軽い傷害で済む可能性。

交通法規へ大きく反する動きより、逸脱の小さい動き。

説明できない挙動より、事故後にも判断過程を説明できる挙動。

ただし、若者より高齢者を犠牲にするというように、年齢や性別、障害の有無によって人間の価値を順位づけることはできない。

人数による被害の最小化と、個人の属性による命の選別は、同じではない。

前者は事故全体の被害を減らそうとする判断である。

後者は、誰の生命により高い価値があるかを機械に決めさせることである。

この境界は曖昧でありながら、越えてはならない。

また、賠償額が低くなる方を選べばよいという考え方も危険である。

賠償額は、失われる生命そのものの価値ではない。

法制度が損害を金銭へ換算するための、手続き上の尺度にすぎない。

それをAIの判断基準にすれば、賠償額が低く評価される人間ほど、機械によって犠牲にされやすくなる。

だが、事故後に問われる法的責任や賠償の可能性を、開発者や企業がまったく考えないとも思えない。

人間社会がAIに求めるのは、最も善い判断だけではない。

被害が小さく、

法的に説明でき、

差別的ではなく、

社会的にも一定の納得を得られる判断である。

つまり、自動運転AIは、罪のない選択肢を探すのではない。

どの選択にも何らかの損失がある中で、より罪が小さく見える選択肢へ退いていく。

それは、

「これが正しかった」

という結論ではない。

「ほかの選択肢よりは、これを選ぶしかなかった」

という結論に近い。

自動運転AIの判断とは、英雄的な決断ではない。

許されない選択肢を一つずつ消し、最後に残った動作を実行することである。

そして、その消去の順番を決めているのはAI自身ではない。

法律であり、

安全基準であり、

開発者であり、

企業であり、

社会の価値観である。

走る。

曲がる。

止まる。

そして、判断する。

最後に加わるこの機能だけは、機械性能だけでは完成しない。

なぜなら判断とは、道路を読み取る技術であると同時に、

どの損失を社会が引き受け、どの選択を許さないのかを決める行為だからである。

第六章｜レバーを握っているのは誰か

事故の瞬間、自動運転車が右へ曲がったとする。

映像だけを見れば、AIが右を選んだように見える。

しかし、その判断は事故の瞬間に突然生まれたわけではない。

どのセンサーを搭載するか。

何メートル先から危険と判定するか。

どの程度の確率でブレーキを作動させるか。

どの速度まで走行を許可するか。

判断不能時に停止するのか、走行を続けるのか。

どの道路や天候で自動運転を許可するか。

これらは、すべて事故より前に決められている。

そこには、

自動車メーカー

ソフトウェア開発者

部品メーカー

学習データを作った人々

認証機関

行政

道路管理者

保険会社

利用者

が関わっている。

ドイツの倫理委員会も、自動運転の発達によって、従来は運転者へ集中していた責任が、メーカー、システム運用者、インフラ、政策、法制度を決める主体へ移動すると指摘している。(BMV)

つまり、AIの判断とは、一台の機械による孤立した決断ではない。

過去に行われた多数の人間の判断が、事故の瞬間に一つの動きとして現れたもの

である。

それにもかかわらず事故後に、

「AIが判断しました」

と言ってしまえば、責任の所在が見えなくなる。

AIには会社を辞めることもできない。

罰金を払うこともできない。

刑務所へ入ることもできない。

被害者へ謝罪することもできない。

自責を抱えながら生きることもない。

だからAIを責任主体と呼ぶだけでは、事故後の責任は処理できない。

AIは責任を引き受ける存在というより、

人間社会があらかじめ定めた責任配分を実行する装置

なのである。

第七章｜倫理を利用者に選ばせることはできるのか

では、自動運転車を買う人が、判断基準を選べるようにすればよいのだろうか。

乗員優先モード。

歩行者優先モード。

被害最小化モード。

法規絶対遵守モード。

しかし、倫理を利用者に選ばせれば、生死の判断が商品の機能になる。

乗員を最優先する車は売れるかもしれない。

だが、その車が歩行者へ危険を転嫁するなら、車を買えない人が一方的に危険を負う。

逆に、どのような状況でも歩行者を守るために乗員を犠牲にする車を、誰が進んで買うだろうか。

企業が決めれば、私企業が生命の優先順位を決める。

国家が決めれば、国家が正しい死に方を標準化する。

利用者へ任せれば、倫理が市場商品になる。

多数決へ任せれば、社会に存在する偏見が機械へ移植される。

AIへ自由に学習させれば、なぜその判断になったのかを人間が説明できなくなるかもしれない。

誰が決めても、完全な中立にはならない。

だから必要なのは、判断基準を隠さないことである。

どのような条件で自動運転が作動するのか。

判断不能時に何をするのか。

誰が責任を持つのか。

事故記録は残るのか。

利用者や歩行者は、その基準を知ることができるのか。

自動運転の設計や運用原則は可能な限り透明化し、独立した機関によって検証されるべきだという提言もなされている。(BMV)

倫理とは、正しい答えを機械の中へ隠すことではない。

どの判断規則を採用し、なぜそれを採用したのかを、社会が説明できる状態にしておくことだ。

終章｜AIが逃げられないのではない

人間は、トロッコ問題から立ち去ることができる。

偶然そこに居合わせただけなら、生死の裁定者という役割そのものを拒否できる。

自分には背負いきれない。

自分の家族まで巻き込むことになる。

自分が作った事故ではない。

そのように考えて、レバーから手を離すことができる。

しかし、自動運転AIには、その権利がない。

AIは運転を拒否できない。

事故が怖いから会社を辞めることもできない。

この責任は重すぎると訴えることもできない。

自分の判断で家族が傷つくから、関わらないと決めることもできない。

だが、厳密には、AIが逃げられないのではない。

人間が、AIに逃げる権利を与えないまま、事故の中へ送り込んでいる。

AIが道路を走ると決めたのは人間である。

速度を決めたのも人間である。

判断規則を与えたのも人間である。

その道路を設計したのも人間である。

便利さと利益を求めて、自動運転を社会へ導入するのも人間である。

それなのに事故が起きた瞬間だけ、

「AIが決めた」

と言うなら、それは機械による責任ではない。

人間社会による責任放棄である。

トロッコ問題のレバーを握っているのは、AIではない。

開発者一人でもない。

メーカー一社でもない。

法律を作り、道路を整備し、車を販売し、それを利用し、その利便性を享受する社会全体である。

AIは、自分の意思でレバーを握っているのではない。

私たちが、AIの手を使ってレバーを握っている。

だから、自動運転における倫理とは、機械が善人になれるかという問題ではない。

機械に何をさせたのかを、人間社会が最後まで引き受けられるかという問題である。

最終命題

人間は、引き受けられない責任から立ち去ることができる。

AIには、その権利が与えられていない。

だからAIの判断とは、機械の倫理ではない。

機械に何をさせるかを、あらかじめ決めた人間社会の倫理である。

AIがレバーを握っているのではない。

社会がAIの手を使って、レバーを握っている。

関連記事

『トロッコ問題について考えてみた。』

『生存に全振りするという反逆』

『思考実験は無駄なのか。少し考えてみよう』

『暴力は罪になる。でも、沈黙は裁かれない』

『傾いた天秤――法と罪、裁きの構造』

『罪は人数で薄まるが、消えるわけではない』