[資料] 「AIがなぜ危険になりうるか - 自律型兵器システム」　from Autonomous Weapons Newsletter

• 責任の所在の不明確さ
• 世界的な不安定化
• 倫理的懸念
• サイバー攻撃への脆弱性と予測不可能性
• 求められる対応策
• 各国の立場
• 議論の場

Google translation(若干修正)↓
自律型兵器システムは、人間の制御なしに標的を選択し、攻撃を行います。

1 人間のオペレーターが遠隔操作で命を奪うかどうかを決定する無人軍事ドローンとは異なり、自律型兵器はアルゴリズムを用いてこの決定を独立して行います。

2 自律型兵器は、顔認識などのセンサーデータに基づいて、特定の「標的プロファイル」を認識し、攻撃するように事前にプログラムされています。

3 近年の紛争で自律型兵器が配備されたという報告はありますが、

4 独自に検証された事例は限られていますが、
これらの兵器の製造元として知られている企業がいくつかあります。

• Anduril（米国）
• Norinco（中国）
• STM（トルコ）
• Elbit Systems（イスラエル）
• Kalashnikov Group（ロシア）

Original↓
Autonomous weapons systems select and apply force to targets without human control.

1 Unlike unmanned military drones, where a human operator remotely decides to take a life, autonomous weapons use algorithms to make this decision independently.

2 Autonomous weapons are pre-programmed to recognize and kill a specific “target profile” based on sensor data, such as facial recognition.

3 While there are reports of autonomous weapons being deployed in recent conflicts,

4 independently verified accounts are limited. Conversely, there are several known manufacturers of these weapons, including:

• Anduril (US)
• Norinco (China)
• STM (Turkey)
• Elbit Systems (Israel)
• Kalashnikov Group (Russia)

Google translation↓
なぜこれらが問題視されているのでしょうか？
• 責任の所在の不明確さ：自律型兵器は、意図したものとは異なる人々や、より多くの人々を殺傷する可能性があります。そのため、戦争犯罪の責任の所在を判断することが困難になる恐れがあります。

• 世界的な不安定化：自律型兵器は通常、機密データに基づいて学習を行いますが、敵のシステムと予期せぬ形で相互作用する可能性があります。その結果、敵システムの予期せぬ動きによって、人間の介入（オーバーライド）がないまま「フラッシュ・ウォー」（意図しない急激な紛争激化）が引き起こされる恐れがあります。さらに、製造コストが低いことから、非国家武装勢力にとってジェノサイド（集団殺害）の手段として魅力的なものとなり得ます。また、軍や政治の指導者を標的とした殺害の実行も著しく容易になります。

• 倫理的懸念：ローマ教皇を含む主要な宗教指導者らは、生死に関わる決定を機械に委ねるべきではないと主張しています。世論調査においても、圧倒的多数の人々が、こうした運用を非倫理的であるとして否定しています。

• サイバー攻撃への脆弱性：自律型兵器はサイバー攻撃を特に受けやすく、ハッカーが軍事作戦に侵入・操作するための新たな手段を生み出すことになります。

• 予測不可能性：自律型兵器は環境からの刺激に基づいて動作するため、その挙動を制御したり予測したりすることが困難です。

Original↓
Why are they problematic?
• Accountability gap: Autonomous weapons may kill more or different people than intended. Judges may therefore have difficulty assigning responsibility for war crimes.

• Global instability: Autonomous weapons are usually trained on classified data and may interact with enemy systems in unexpected ways. An unexpected movement by an enemy system can therefore cause “flash wars” (unintended escalation) without human override. Moreover, low production costs make them attractive to non-state armed groups as tools for genocides. They can also make it significantly easier to execute targeted killings of military or political leaders.

• Ethics: Key religious leaders, including the Pope, argue that machines should not be allowed to take life and death decisions. When polled, the vast majority of people reject this practice as unethical.

• Vulnerability to cyberattack: Autonomous weapons are uniquely susceptible to cyber-attacks, creating new ways for hackers to infiltrate and manipulate military operations.

• Unpredictability: Autonomous weapons operate based on environmental stimuli, making their behaviour uncontrollable and unpredictable.

「自律型兵器システムに関する外交官向けガイド（Future of Life Institute発行）」の要約は以下の通りです。

自律型兵器システム（AWS）とは: 人間の制御や判断なしに、アルゴリズムに基づいて標的を選択し、武力を行使する兵器のことです。

主な問題点:
責任の所在: 意図しない被害が出た場合、誰が責任を負うのかが不明確です。

世界の不安定化: 予期せぬシステムの挙動が意図しない紛争の激化（フラッシュ・ウォー）を招く恐れがあります。

倫理的懸念: 機械に人間の生死の決定権を与えることは非倫理的であると広く認識されています。

脆弱性と予測不可能性: サイバー攻撃を受けやすく、また環境刺激に基づくため行動の予測が困難です。

求められる対応策: 国連事務総長と赤十字国際委員会（ICRC）は、2026年までに法的拘束力のある条約を交渉するよう各国に求めています。具体的には、人間の制御が及ばないシステムなどを「禁止」し、その他のシステムを「規制」する2段階のアプローチが有力視されています。

各国の立場: 119カ国が法的拘束力のある条約の交渉開始を「支持」している一方で、米国、ロシア、イスラエル、インド、イギリスなど10カ国は「反対」しています。

議論の場: これまで特定通常兵器使用禁止制限条約（CCW）等で議論されてきましたが、全会一致の要件により進展が阻まれてきました。現在では、より包括的な議論が可能な国連総会（UNGA）が、条約制定に向けた最も有望な場として注目されています。

倫理的懸念: 機械に人間の生死の決定権を与えることは非倫理的であると広く認識されています。