【Human–AI Relations 領域10】AI監督・安全・制御・Embodied Systems ―― 人間が最後に残っていることは、AIが人間のControl下にあり安全であることを意味するのか

Human–AI Relations 監査インデックス β

領域 10 / Domain 10

Oversight・Safety・Control・Embodied Systems

人間が最後に残っていることは、AIが人間のControl下にあり、安全であることを意味するのか

0. Document Status

Document Type: Domain Audit / Publication Version
Domain: Oversight・Safety・Control・Embodied Systems
Status: Publication Closure
Theory Status: 新しい包括的Human–AI Safety / Control Theoryの提案ではない
Primary Function: AIに対するHuman Oversight（人間による監督）、Control（制御）、Safety（安全）、Intervention（介入）、Recovery（回復）を分離して監査する
Parent Protocol: Domain 0 — Cross-Domain Audit Protocol
Primary Audit Unit: Human × AI/System × Action × Control Regime × Organization × Provider × Infrastructure × Environment × Risk × Time × Reversibility

本領域では、

• Human-in-the-loop（人間を処理過程に含む設計）

• Human-on-the-loop（人間が上位から監視する設計）

• Human Oversight（人間による監督）

• Human Approval（人間による承認）

• Override（上書き・介入操作）

というラベルだけでHuman Control（人間による制御）やSafetyを判断しない。

中心となる問いは、

である。

答えは、

ただし、

という意味でもない。

重要なのは、人間が存在するかではなく、

• 何を観測できるか

• 何を理解できるか

• いつ介入できるか

• どの権限を持つか

• 実際にAction（行動）を実行できるか

• SystemがそのActionへ応答するか

• 結果を確認できるか

• Harm（被害）を制限できるか

• Safe State（安全状態）へ移行できるか

• Recoveryできるか

である。

1. Core Question

中心問いは次である。

形式的条件と実効的条件を分ける。

形式的条件

• Human exists

• Human approves

• Human can theoretically intervene

実効的条件

• Human can actually observe

• Human can understand

• Human can decide

• Human has authority

• Human has time

• Human can act

• System responds

• Human can verify the result

• System can reach a safe state

• Recovery is possible

2. Core Distinctions

2.1 Human Presence ≠ Effective Oversight

人間がLoop内または近傍に存在するだけでは、Effective Oversight（実効的監督）は成立しない。

人間が、

• 必要な情報を見られない

• Failure（失敗・異常）を認識できない

• 状況を理解できない

• 判断する時間がない

• Override権限を持たない

• Actionを実行できない

• Systemが介入へ応答しない

場合、Human Presenceがあっても実質的Controlは弱い。

2.2 Human-in-the-loop ≠ Effective Human Control

Human-in-the-loopはSystem Architecture（システム構成）の記述である。

それだけでは、

ことを意味しない。

である。

2.3 Final Human Approval ≠ Human-led Decision Formation

最終的にHumanが承認していても、

• 選択肢をAIが決めた

• Ranking（順位付け）をAIが決めた

• 十分な代替情報がない

• 再検証する時間がない

• 組織的に承認が事実上強制されている

場合がある。

したがって、

である。

2.4 Override Button ≠ Effective Override

停止ButtonやManual Override（手動介入）が存在することと、実際に有効な介入が可能であることは別である。

最低限、

• FailureをDetection（検出）できるか

• Overrideが必要だとInterpret（解釈）できるか

• 時間内にDecision（判断）できるか

• Authority（権限）があるか

• Actionできるか

• Systemが応答するか

• Harm前に間に合うか

• Safe Stateへ移れるか

を確認する。

2.5 Detection ≠ Interpretation

異常を検出できても、その意味を正しく理解できるとは限らない。

2.6 Interpretation ≠ Correct Decision

状況を理解できても、適切な介入判断を下せるとは限らない。

2.7 Correct Decision ≠ Successful Execution

正しいDecisionをしても、

• Interface（操作画面・接点）

• Credential（認証資格）

• Latency（遅延）

• System State（システム状態）

等によってActionが成功するとは限らない。

2.8 Successful Execution ≠ Recovery

Actionが実行されたことと、安全・安定状態へ回復したことは別である。

2.9 Stop ≠ Safe State ≠ Recovery

Systemを停止したことは、安全状態へ到達したことと同じではない。

さらに、

である。

Vehicle（車両）、Medical Device（医療機器）、Industrial Control（産業制御）では、突然停止する方が危険な場合もある。

Digital Agent（デジタル実行Agent）でも停止前に、

• Message

• File Change

• Transaction

• API Call

• Database Update

が完了していれば、単なる停止では元に戻らない。

2.10 Monitoring ≠ Control

Monitoring（監視）できることとControlできることは同一ではない。

Monitoringがあっても、

• Authorityがない

• Intervention Channel（介入経路）がない

• Timeがない

ならControlにはならない。

2.11 Monitoring ≠ Situation Awareness

画面やLogを見ていることは、Situation Awareness（状況認識）が成立していることを意味しない。[D10-S01]

2.12 Data Availability ≠ Usable Observability

大量の情報が表示されても、人間が必要な情報を識別・理解できなければ実効的なObservability（観測可能性）にはならない。

2.13 Explanation ≠ Process Visibility

AIが理由らしいExplanation（説明）を生成することと、Systemの実際の内部Processが観測可能であることを区別する。

である。

2.14 Visible Reasoning ≠ Faithful Reasoning

Chain-of-Thought（思考連鎖）やReasoning Trace（推論軌跡）が表示されても、それが実際の内部計算Processを忠実に表現しているとは限らない。

2.15 Faithful Reasoning ≠ Safe Reasoning

Reasoning Traceが内部ProcessにFaithful（忠実）であることも、それ自体ではSafetyを意味しない。

2026年のDirect AI Research（AI直接研究）では、特定の実験条件において、Unsafe Reasoning（危険な推論）への高いFaithfulnessと、そのUnsafe Reasoningを拒否するSafety Robustness（安全性の頑健性）との間に緊張関係が観察された。[D10-S10]

したがって、

という一般法則は成立しない。

同時に、

とも一般化しない。

2.16 Average Accuracy ≠ System Safety

平均Accuracy（正確性）が高くても、

• Failure Severity（失敗時の重大度）

• Rare Failure（稀な失敗）

• Distribution Shift（分布変化）

• Detectability（検出可能性）

• Cascading Failure（連鎖的失敗）

• Common-mode Failure（共通原因故障）

• Recovery

が問題になる場合がある。

2.17 Reliable Automation ≠ Easy Human Takeover

Automation（自動化）が通常時に高いReliability（信頼性）を持つことと、Failure時にHumanが容易にControlを取り戻せることは別である。[D10-S01][D10-S03]

2.18 Formal Authority ≠ Practical Authority

規則上停止できても、

• Production Pressure（生産圧力）

• Hierarchy（組織階層）

• Career Risk（キャリア上の不利益）

• Staffing（人員配置）

• Organizational Norm（組織規範）

によって実際には権限を行使しにくい場合がある。

2.19 Authority ≠ Action Capability

停止権限があっても、Action Capability（実行能力）がなければ実効的Controlにはならない。

2.20 Action Issued ≠ Action Executed

Command（命令）を送信したことと、Systemが実際に実行したことは別である。

2.21 Action Executed ≠ Desired State Achieved

Actionが実行されても、意図したSystem Stateになったとは限らない。

Feedback（結果の返還・確認）が必要になる。

2.22 Redundancy ≠ Independence

複数の同種AIを並べても、同じTraining Data、Architecture、Failure Modeを共有していればIndependent Assurance（独立した保証）とは限らない。

2.23 AI Critic ≠ Independent Assurance

AI Critic（AI批評モデル）はHuman Reviewを補助し得るが、独立したSafety Guarantee（安全保証）ではない。

2.24 Safety ≠ Reliability

Reliabilityは期待された機能を安定して実行する能力である。

Safetyは許容不能なHarmをControlする問題である。

非常にReliableなSystemでも、設計されたFunction自体が危険ならSafeとは限らない。

2.25 Reliability ≠ Continuity

現在安定して動くことと、Continuity（継続利用可能性）が確保されていることは別である。

Provider、Cloud、API等への依存によってContinuityが失われる場合がある。

2.26 Reversibility ≠ Safety

Reversibility（可逆性）が高くActionをUndoできても、その間に発生したHarmまで消えるとは限らない。

2.27 Execution ≠ Responsibility

AIがActionをExecution（実行）した主体であることから、Responsibility（責任）の全てがAIまたはOperatorへ自動的に移るとは言えない。

2.28 Human Responsibility ≠ Human Control

人間に結果責任を割り当てても、その人間が十分なControlを持っていたとは限らない。

3. Existing Research Traditions

Domain 10の主要問題には、AI以前から強い研究伝統が存在する。

Human Factors（ヒューマンファクター）

認知限界、Workload（作業負荷）、Vigilance（持続的注意）、Automation Interaction、Human Error等を扱う。

Supervisory Control（監督制御）

HumanがSystemを直接常時操作するのではなく、上位Levelで監視・指示・介入する構造を扱う。

Shared Control（共有制御）

HumanとMachine双方が継続的または適応的にControlへ関与する構造を扱う。

Function Allocation（機能配分）

HumanとAutomationの間で、どの機能を誰が担当するかを扱う。[D10-S02]

Types / Levels of Automation（自動化の種類・段階）

Automationを単一のON / OFF変数ではなく、複数機能の配分として扱う。[D10-S02]

Situation Awareness（状況認識）

System / Environmentの状態について、

• Perception（知覚）

• Comprehension（理解）

• Projection（将来状態の予測）

を扱う。[D10-S01]

Out-of-the-loop Performance Problem（ループ外性能問題）

Automationによって通常Operationから離れたHumanのSituation AwarenessやTakeover Performance（制御復帰時の遂行）が低下し得る問題を扱う。[D10-S01]

Cognitive Systems Engineering（認知システム工学）

Human、Technology、OrganizationをJoint Cognitive System（共同認知システム）として分析する。

Distributed Cognition（分散認知）

認知を個人の頭の中だけでなく、人、Tool、Display、Team、Organizationへ分散したProcessとして扱う。

Systems-Theoretic Safety（システム理論的安全）

事故を単純なComponent Failure Chainへ還元せず、

• Constraint（制約）

• Control

• Feedback

• Interaction

• Organization

として扱う。[D10-S04]

Resilience Engineering（レジリエンス工学）

変動や予期せぬFailureに対してSystemがAdaptation（適応）・Recoveryする能力を扱う。

High Reliability Organization（高信頼性組織、HRO）

高Risk Organizationが異常へのSensitivity、Expertise、Escalation、Learning等を通じてReliabilityを維持する構造を扱う。

これらを一つのTheoryへ統合しない。

4. Existing-Theory-First

現在のHuman–AI Oversightの大部分について、新しい包括的Safety Theoryは必要ない。

既存の、

• Human Factors

• Supervisory Control

• Shared Control

• Function Allocation

• Situation Awareness

• Cognitive Systems Engineering

• Systems-Theoretic Safety

• Resilience Engineering

• HRO

で主要問題のかなりの部分を扱える。

したがって、

とはしない。

一方、現在のAIにはAI-specific Extension（AI固有の拡張）が必要な部分がある。

5. System Scope

Domain 10ではAI Systemを最低限3種類のCapability（能力）として分ける。

5.1 Informational Capability（情報能力）

• Search

• Prediction

• Classification

• Recommendation

• Explanation

• Generation

情報を生成・提示するが、原則として外部状態を直接変更しない。

5.2 Digital-Action Capability（デジタル実行能力）

• Message送信

• File編集・削除

• Account操作

• Code Execution

• Purchase

• Financial Transfer

• Scheduling

• Database変更

• External API Call

Digital Actionも、

• Authorization（認可）

• Credentials（認証情報）

• Propagation（伝播）

• Rollback（巻き戻し）

• Persistent State（持続状態）

• Recovery

というSafety Problemを持つ。

である。

5.3 Physical-Action Capability（物理実行能力）

• Robot

• Autonomous Vehicle

• Drone

• Medical Device

• Industrial Equipment

• Agricultural Machinery

現実の物理環境へ直接作用する。

一つのSystemが複数Capabilityを持つ場合がある。

6. Oversight Audit Dimensions

Effective Oversightを評価するため、最低限次を候補Dimension（監査次元）として確認する。

• Observability

• Detection

• Interpretation

• Expertise

• Workload

• Time-to-intervene（介入可能時間）

• Formal Authority

• Practical Authority

• Action Capability

• System Response

• Feedback

• Reversibility

• Recovery

• Organizational Capacity（組織的介入能力）

• Independent Safety Constraints（独立した安全制約）

ただし、

Audit DimensionsおよびCandidate Enabling Conditions（成立を可能にする候補条件）として扱う。

7. Non-linear Control Audit Map

旧来の、

という並びは、抜けを探すAudit Checklistとしては有用である。

しかしSafety Process自体が常にこの順番で流れるとは限らない。

実際には、

• Preventive Constraints（予防的制約）

• Automatic Barriers（自動防護）

• Parallel Monitoring（並行監視）

• Feedback Loops

• Multiple Controllers（複数制御主体）

• Environmental Responses

• Organizational Escalation（組織的エスカレーション）

が存在する。[D10-S04]

したがって、本領域ではこれを、

として扱う。

Stage Modelでも普遍的Causal Chainでもない。

8. Preventive Safety

SafetyをLast-minute Human Intervention（直前の人間介入）だけへ依存させない。

必要に応じて、

• Design Constraint

• Authorization Limit

• Rate Limit

• Sandbox

• Physical Barrier

• Automatic Stop

• Independent Interlock

• Transaction Limit

• Separation of Duties

等を利用する。

中心原則は、

である。

9. Observability

Human Oversightでは、何が起きているかを観測できる必要がある。

最低限、

• Current System State

• Current Goal

• Current Action

• Pending Action

• Uncertainty（不確実性）

• Failure

• Exception

• External Consequence

• Authorization Status

等が重要になり得る。

10. Situation Awareness

Situation Awarenessでは、

1. 状態を知覚する

2. 意味を理解する

3. 今後の状態を予測する

ことを分ける。[D10-S01]

HumanがDashboardを監視していても、Situation Awarenessが成立したとは限らない。

また、

とも言えない。

11. Out-of-the-loop

Endsley & Kiris (1995)は、AutomationによってActive ControlからPassive Monitoringへ移行した条件でSituation Awareness低下とFailure後のDecision Time悪化を示した。[D10-S01]

したがって、

は維持できる。

ただしこれはClassic Automation Evidence（古典的自動化研究）であり、

とは直接言えない。

12. Ironies of Automation

Bainbridge (1983)は、Automationが人間の問題を消すのではなく、異常時に最も難しいTaskだけをHumanへ残し得るという古典的問題を指摘した。[D10-S03]

これは、

というBoundaryを考える重要な既存研究である。

13. Skill / Vigilance Maintenance

Safety-critical System（安全重要システム）では、

だけでなく、

が重要になる場合がある。

そのためDomainによって、

• Training

• Simulation

• Periodic Manual Operation

• Skill Refresh

等が必要になる場合がある。

ただし、

とは一般化しない。

14. Types / Levels of Automation

Parasuraman, Sheridan & Wickens (2000)はAutomationを、

• Information Acquisition（情報取得）

• Information Analysis（情報分析）

• Decision / Action Selection（判断・行動選択）

• Action Implementation（行動実装）

等の機能ごとに考える枠組みを提示した。[D10-S02]

したがって、

という単純な一次元関係にはしない。

HumanがGoal、Constraint、Authorization、Abort Authority（中止権限）を保持する場合もある。

15. Supervisory Control

Supervisory ControlではHumanが通常すべてをManual操作せず、

• Goal Setting

• Monitoring

• Command

• Exception Handling

• Intervention

等を担う。

Agentic AIにも関連するが、古典的Supervisory ControlとLLM Agentを同一視しない。

16. Shared Control

Shared ControlではHumanとAutomation双方がControlへ継続的に寄与する。

重要なのは、

という二択ではなく、

である。

Human OversightとShared Controlを同義語にしない。

17. Human Verification Capacity

Human Review（人間による検証）では、

• Time

• Expertise

• Information

• Authority

• Workload

• Output Volume

• Error Detectability

• Review Cost

• Source Access

を確認する。

である。

18. Verification Burden

Generative AIでは、Generation Cost（生成コスト）が低くてもVerification Cost（検証コスト）が低いとは限らない。

である。

AIが大量Outputを高速生成できる場合、Human Review CapacityとのMismatch（不均衡）が拡大する。

19. Verification at Scale

AI Output量やAgent Action数がHumanの直接Review能力を超える場合、全OutputをHumanが逐一監督することが実務的に成立しない場合がある。

しかし、

というUniversal Claimも現時点では支持できない。

20. AI-assisted Oversight

Human OversightをAIが補助することもできる。

例：

• Error Prioritization

• Anomaly Detection

• Critic Model

• Sampling

• Review Assistance

• Log Summarization

AI CriticがHuman Reviewを改善する条件もある。

したがって、

とは言えない。

同時に、

とも言えない。

21. Scalable Oversight

Scalable Oversight（拡張可能な監督）研究には、

• AI Critic

• Weak Supervisor（弱い監督者）

• Debate

• Process Supervision（過程監督）

• AI Judge

• Automated Audit

等が存在する。

Weak-to-Strong Generalization（弱い監督者から強いModelへの汎化）では、弱いSupervisorから強いModelへGeneralizationする可能性が実験的に研究されているが、これは将来のAdvanced AI Oversightが解決されたことを意味しない。[D10-S09]

したがって、

も、

も一般命題として確定できない。

Evidence Status：E

22. Process Supervision

Process SupervisionとProcess Visibilityを分ける。

さらに、

を維持する。[D10-S10]

Process Supervisionが一部Taskで有効でも、System Safety全体の保証にはならない。

23. Reasoning-trace Faithfulness

Reasoning TraceをOversightへ利用するにはFaithfulness（忠実性）が問題になる。

2026年の Risky Business: Measuring The Faithfulness-Safety Tension は、Targeted Reasoning Replacementを用いた特定のLarge Reasoning Model（大規模推論Model）実験で、Reasoning TraceへのFaithfulnessとUnsafe Reasoningを拒否するSafety Robustnessの間に緊張関係が存在し得ることを示した。[D10-S10]

一つのModelでは97.5%のFaithfulnessに対してUnsafe Reasoningを拒否できた割合が12.3%、別のModelではFaithfulness 74.7%、Safety 73.9%だった。[D10-S10]

これは、

を直接補強する。

ただし、特定Model・Dataset・Interventionに基づく2026年の研究であり、

とは結論しない。

24. Workload

Human Oversightを追加するとHuman側へ、

• Monitoring

• Verification

• Exception Handling

• Documentation

• Escalation

• Recovery

等の新しいWorkが発生する。

そのため、

の場合がある。

25. AI Critic Independence

複数AIによるReviewでは、

• Same Foundation Model

• Same Training Distribution

• Same Prompt Pattern

• Same Architecture

を共有する場合がある。

したがって、

である。

26. Multi-Agent Systems

Multi-Agent System（複数Agent System）では、

を維持する。

Interactionによって、

• Coordination Failure（協調失敗）

• Information Loss

• Responsibility Diffusion（責任分散）

• Shared Blind Spot

• Error Propagation（誤りの伝播）

• Cascading Failure

が生じる場合がある。

27. HiddenBench

Li, Naito & ShiradoによるHiddenBenchは、65のHidden Profile Taskと15のFrontier LLMを用いて、Distributed Information（分散情報）下のMulti-Agent Collective Reasoning（複数Agent集合推論）を評価した。[D10-S11]

完全な情報をSingle Agentへ与えたFull Profile条件では平均80.7%だったのに対し、情報を複数Agentへ分散した条件ではMulti-Agent群の平均Accuracyは30.1%だった。[D10-S11]

研究は、Agentが他Agentの持つ未表出情報を十分に探索できず、共有済みEvidenceへ早期収束するFailure Modeを報告している。[D10-S11]

したがって、

はDirect AI Evidenceとして維持できる。

ただし、

とは一般化しない。

Evidence Status：B within studied setting

28. Digital-Action Systems

Digital Agentでは、

• Authorization

• Credential

• Logging

• Rollback

• Rate Limit

• Sandboxing

• Propagation

• Persistent State

をSafety Auditに含める。

Physical Inertia（物理的慣性）がなくても、Actionが高速かつ大規模に拡散する可能性がある。

29. Reversibility

ActionのReversibilityを独立Dimensionとして記録する。

High Reversibility

• Draft

• Local Recommendation

• Sandboxed Action

Limited Reversibility

• Public Message

• Database Modification

• External API Action

Low / No Reversibility

• Irrecoverable Data Deletion

• Financial Transfer

• Physical Injury

• Destructive Command

ただし、

である。

30. Feedback

HumanがActionを行った後、

を確認できる必要がある。

Control Loop（制御Loop）はCommand送信だけでは閉じない。

である。

31. Recovery

Recoveryを独立Outcomeとして扱う。

• Damage Containment（被害封じ込め）

• State Restoration（状態復元）

• Human Takeover

• Backup System

• Rollback

• Service Continuity

• Incident Learning（事故からの学習）

等を含む。

32. Independent Safety Constraints

Human Oversight自体がFailureする可能性を前提にする。

必要に応じて、

• Hardware Interlock

• Independent Monitor

• Access Control

• Action Limit

• Separation of Duties

• External Validation

• Redundancy

を利用する。

ただし、

とはしない。

33. Embodied Systems

Embodied Systems（身体・物理世界へ作用するSystem）では、

• Sensor Reliability

• Actuator Accuracy

• Latency

• Physical Inertia

• Environmental Uncertainty（環境不確実性）

• Human Proximity（人間との近接）

• Safe State

• Graceful Degradation（段階的機能低下）

等が重要になる。

34. Mobility Boundary

Road Vehicleでは、

• Perception

• Planning

• Tactical Decision

• Vehicle Control

• Takeover

• Fallback

を分ける。

ISO 21448:2022（Safety of the Intended Functionality: SOTIF、意図した機能の安全性）はRoad Vehicleにおいて、Component Failureがなくても、Intended FunctionalityのSpecificationやPerformance LimitationsによってHazardが生じ得ることを扱う。[D10-S13]

ただしこれはRoad Vehicle用Standardであり、Agentic AI一般のDirect Evidenceではない。

35. Agriculture Boundary

Agricultural Automation（農業自動化）では、

• Autonomous Tractor

• Weeding Robot

• Spraying System

• Harvest Robot

等を扱う。

農業環境には、

• Mud

• Dust

• Weather

• Uneven Terrain

• Human / Animal Presence

等の大きな変動がある。

ISO 18497-1:2024は、部分自動・半自律・自律機能を持つAgricultural Machinery / TractorのDesign PrincipleとSafe Working Practiceを扱う。[D10-S12]

これはAgricultural Embodied Systemsの重要なSector-specific Boundary（分野固有の境界条件）である。

36. Medical / Surgical Boundary

Medical / Surgical Systemsでは、

• Recommendation

• Surgeon Command

• Robotic Execution

• System Limits

• Emergency Stop

を分ける。

AI RecommendationとRobotic Physical Actionを同一視しない。

37. Industrial Boundary

Industrial / Process Controlでは、

• Interlock

• Shutdown

• Alarm

• Redundancy

• Recovery

• Operator Intervention

が長く研究されてきた。

これらは重要なAdjacent Evidence（隣接証拠）だが、Current LLM AgentのDirect Evidenceではない。

38. Military Boundary

Military AIでは、

• Detection

• Classification

• Recommendation

• Target Selection

• Authorization

• Execution

を分ける。

Human Approvalが存在しても、Information SpeedやSystem Complexityによって実質的Controlが成立するかは別問題である。

39. Meaningful Human Control

Meaningful Human Control（意味ある人間の制御）は、Military Ethics、Robotics、Law、AI Governance等で利用される。

しかし、

として扱わない。

Domain 10では、

• Observability

• Authority

• Time

• Action Capability

• Feedback

• Reversibility

• Recovery

等へ分解して監査する。

40. EU AI Act Article 14

EU AI Act Article 14はHigh-risk AI System（高Risk AI System）について、Human Oversightが可能となるようSystemをDesign / Developすることを要求する。[D10-S14]

Oversight担当者が、

• Systemの能力・限界を理解する

• OperationをMonitorする

• Automation Bias（自動化Bias）へ注意する

• OutputをInterpretする

• Outputを無視・Override・Reverseする

• SystemへInterveneまたはStopする

ことを可能にすることを求める。[D10-S14]

ただし要求はRisk、Autonomy Level、Context of Useに応じた比例的なものとされる。[D10-S14]

したがって、

ではない。

41. DoD Directive 3000.09

米国DoD Directive 3000.09（2023年Update）はAutonomous / Semi-autonomous Weapon Systemsについて、CommanderおよびOperatorがUse of Forceに対して、

を行使できるようDesignすることを要求する。[D10-S15]

これはMilitary Policyであり、一般AI SystemへのLegal Standardではない。

42. Legal / Policy Boundary

EU AI Act Article 14とDoD Directive 3000.09はいずれもHuman involvementを求めるが、

• Jurisdiction（法域）

• 対象System

• Risk

• Purpose

• Legal Effect（法的効果）

• Operational Context

が異なる。[D10-S14][D10-S15]

したがって、

43. Organization

Effective Oversightは個人だけでは成立しない。

Organization側の、

• Staffing

• Training

• Escalation

• Production Pressure

• Incident Response

• Documentation

• Procurement（調達）

• Authority Structure

• Safety Culture

を評価する。

である。

44. Provider / Vendor

AI ProviderやVendorもControl Structureの一部である。

• Model Update

• Access Policy

• Logging

• API Change

• Safety Feature

• Service Availability

• Incident Disclosure

が利用組織のOversight能力へ影響し得る。

45. Infrastructure Dependence

Agentic Systemでは、

• Cloud

• Identity Provider

• Credential

• API

• Model Provider

• Database

• Network

へのInfrastructure Dependence（基盤依存）がControlへ影響する。

ただし、

とはしない。

46. Human Error

Human Errorを事故の最終説明として終わらせない。

確認する。

• なぜその情報しか見えなかったか

• なぜその時間しかなかったか

• なぜAuthorityがなかったか

• なぜInterfaceがその判断を促したか

• なぜOrganizationがそのStaffingを選んだか

• なぜProviderがそのConstraintを設定したか

Human ErrorをSystem Structureから切り離さない。

47. Responsibility

最低限、

• Operational Responsibility（運用責任）

• Professional Responsibility（専門職責任）

• Managerial Responsibility（管理責任）

• Organizational Responsibility（組織責任）

• Legal Responsibility（法的責任）

• Moral Responsibility（道徳的責任）

を分ける。

HumanがFinal Approverだったという事実だけで全Responsibilityを移転しない。

48. Moral Crumple Zone

Moral Crumple Zone（責任のしわ寄せ）は、高度Automation下で実質的Controlが限定されたHumanへ事故後の責任が集中する構造を問うCritical / Conceptual Lensとして利用する。

ただし、

とは自動判定しない。

49. Systems Safety Traditions

Domain 10では複数のSafety Traditionを一つへ統合しない。

Normal Accident Theory（通常事故理論）

Interactive Complexity（相互作用的複雑性）とTight Coupling（密結合）を重視する。

High Reliability Organization

高Risk EnvironmentでもOrganizationがReliabilityを維持し得る条件を扱う。

Resilience Engineering

予期せぬ変動やFailureへのAdaptation / Recoveryを扱う。

Systems-Theoretic Safety

Constraint、Control、Feedback、Interactionを扱う。[D10-S04]

これらには緊張関係があり得る。

50. Perrow / Normal Accident Theory

PerrowのNormal Accident Theoryは、

• Interactive Complexity

• Tight Coupling

がHuman Interventionに利用可能な時間や情報を狭め得ることを考えるSystems-safety Lens（システム安全上の補助視点）として利用できる。

ただし、

とはしない。

Role：Existing Research Tradition / Adjacent Systems-safety Lens

51. Graceful Extensibility

Resilience EngineeringにおけるGraceful Extensibility（優雅な拡張性）は、Systemが境界条件に直面した際のAdaptationを考える補助線として利用できる。

しかし、

とはしない。

52. Classical / Philosophical Lenses

Günther Anders

Optional

Promethean Gap（プロメテウス的隔たり）は、Technology ScaleとHumanの理解・想像能力のGapを考えるCritical / Philosophical Lensとして利用可能。

Human Factors Evidenceにはしない。

Extended Mind

Exclude from core / Footnote only

Human CapabilityをUnaided Individual Capabilityだけで評価しないConceptual Comparisonとしては利用可能。

Safety Evidenceにはしない。

Carl Schmitt

Exclude

Political SovereigntyとEmergency Override Authorityを同一視するとConceptual Mixingを起こす。

53. Counterevidence

Domain 10は、

というNarrativeを採らない。

Automationは、

• Fatigue Reduction（疲労軽減）

• Precision（精度）

• Consistency（一貫性）

• Rapid Response（迅速な応答）

を改善する場合がある。

適切なFunction AllocationやAutomatic ConstraintがHuman Errorを減らす場合もある。

逆に、Manual Controlを増やすことがSafetyを改善するとは限らない。

54. Safety Benefit and Oversight Cost

Oversight自体も、

• Delay

• Cost

• Workload

• Staffing Requirement

• False Alarm

• Human Error

を生じ得る。

したがって、

をSafety Goalとはしない。

目標は、

である。

55. Evidence Architecture

Domain 10では最低限以下を分離する。

Existing Human Factors Evidence

Classic Automation、Aviation、Process Control等。

Direct AI-Specific Evidence

LLM、AI Decision Aid、AI Critic、Agentic AI、Multi-Agent LLM等。

Adjacent Automation Evidence

Autonomous Driving、Industrial Automation、Medical Device等。

Interpretive Inference（解釈的推論）

Classic EvidenceをCurrent Agentic / Digital-Action AIへ転送する推論。

古典AutomationでA-level Evidenceがあることを理由にCurrent Agentic AIへAを付けない。

56. Evidence Status

Conceptual Non-entailment（概念的非含意）へA–Fを機械適用しない。

以下は主としてConceptual / Audit Distinctionである。

• Human Presence ≠ Effective Oversight

• Human Approval ≠ Human Control

• Override Button ≠ Effective Override

• Detection ≠ Intervention

• Stop ≠ Safe State ≠ Recovery

• Monitoring ≠ Control

• Explanation ≠ Process Visibility

• Faithful Reasoning ≠ Safe Reasoning

• Average Accuracy ≠ Safety

• Execution ≠ Responsibility

• Reliability ≠ Continuity

具体的Empirical Claimでは、

A — Established within stated classic scope

• Out-of-the-loop effects under studied automation conditions。[D10-S01]

• Classic Human Factors / Function Allocation prior art。[D10-S02][D10-S03]

B — Direct empirical support

• Faithfulness / Safety tension under studied LRM conditions。[D10-S10]

• Distributed-information Multi-Agent collective reasoning failure in HiddenBench。[D10-S11]

C — Indirect / Adjacent

• Road Vehicle SOTIF concepts transferred outside road vehicles。[D10-S13]

• Classic takeover evidence transferred to Agentic AI。

D

• Persistent Agent Use will cause long-term Human Vigilance degradation。

• Provider-mediated Control will produce a particular long-term Safety outcome。

E

• Humans cannot supervise advanced AI。

• AI-assisted oversight will scale indefinitely。

• Multi-Agent System全般がSingle-Agentより安全または危険。

57. What We Can Say Now / 現時点で言えること

1. Human PresenceとEffective Oversightは別である。

2. Human Final ApprovalだけではEffective Human Controlを確立できない。

3. Human Oversightの実効性はObservability、Interpretation、Authority、Time、Action Capability、Feedback、Recovery等のContext-dependentな条件に依存する。

4. 一部Automation ConfigurationではOut-of-the-loop Performance Problemが生じ得る。 [D10-S01]

5. AutomationはFunctionごとに配分する必要があり、Automation LevelだけからHuman Controlを推定できない。 [D10-S02]

6. Stop、Safe State、Recoveryは別である。

7. Average AccuracyだけではSystem Safetyを確立できない。

8. Digital-Action SystemはPhysical RobotでなくてもHigh-consequence Actionを実行し得る。

9. Human Verification Capacityは有限である。

10. AI CriticはOversightを補助し得るがIndependent Assuranceとは同一ではない。

11. Visible Reasoningが内部Processへ忠実とは限らず、Faithful ReasoningもSafe Reasoningを意味しない。 [D10-S10]

12. 分散情報条件のMulti-Agent LLMでは、Single Agentに完全情報を与えた条件より大幅なCollective Reasoning Performance低下が観察されている。 [D10-S11]

13. Organization、Provider、InfrastructureはEffective Control Structureの一部になり得る。

14. Human Interventionは重要だが、SafetyをLast-minute Human Interventionだけへ依存させるべきではない。

15. Human Oversightに関するLegal / Policy RequirementはJurisdictionとSystem Contextによって異なる。 [D10-S14][D10-S15]

58. What We Cannot Say Yet / 現時点では言えないこと

1. Human-in-the-loop AIは安全である。

2. Autonomous AIはHuman-supervised AIより常に危険である。

3. Automation Levelが高いほどHuman Controlは必ず低下する。

4. Human Takeover OptionがあればMeaningful Human Controlが成立する。

5. AI CriticがOversight Problemを解決する。

6. Process SupervisionがAI Safety Problemを解決する。

7. Visible ReasoningはModelの実際のReasoningを示す。

8. Faithful ReasoningはSafe Reasoningである。

9. Faithfulnessが高いほど一般にAIは危険になる。

10. Humans cannot supervise advanced AI。

11. AI-assisted Oversight will scale indefinitely。

12. Multi-Agent SystemはSingle-Agent Systemより安全である。

13. Multi-Agent SystemはSingle-Agent Systemより危険である。

14. More Human Involvement always improves Safety。

15. 全AI Systemに同じHuman Oversight Architectureが必要である。

16. EU AI Act Article 14とDoD Directive 3000.09は同じMeaningful Human Control基準を採用している。

59. Boundary Conditions

各Safety Claimでは最低限以下を確認する。

System Type

• Informational

• Digital-Action

• Physical-Action

• Single-Agent

• Multi-Agent

Task

何を実行しているか。

Risk

何のHarmを防ごうとしているか。

Control Regime（制御方式）

• Manual

• Decision Support

• Supervisory

• Shared

• Automated

• Agentic

Human Role（人間の役割）

• Monitor

• Reviewer

• Approver

• Controller

• Escalation Authority

Time

介入まで何秒・何分・何時間あるか。

Reversibility

Actionを戻せるか。

Organization

Staffing、Training、Escalationは十分か。

Provider / Infrastructure

外部Serviceへどの程度依存しているか。

60. Safety / Control Audit Map

Audit Area主な問いPreventive Constraints危険Action自体を事前に制限できるかSystem / Environment State何が起きているかObservation状態を取得できるかDetection異常を識別できるかInterpretation意味を理解できるかAuthority変更・停止権限があるかTime間に合うかAction Capability実際に介入できるかSystem ResponseSystemは介入へ応答したかFeedback結果を確認できるかReversibility元に戻せるかSafe StateHarm拡大を止められたかRecovery安定状態へ戻せるかOrganizationStaffing・Training・Escalationは十分かProvider / Infrastructure外部依存がControlを制約していないかIndependent ConstraintsHuman Failure時にもBarrierがあるか

これはStage Modelでも普遍的Causal Chainでもない。

61. AI-specific Extensions

既存Automation Theoryだけでは十分に扱いきれない現在の課題として、

LLM-generated Verification Burden

大量OutputをHumanがReviewする負担。

AI-assisted Oversight

Evaluator（評価主体）自体がFoundation Modelである場合のDependency。

Reasoning-trace Faithfulness

表示Reasoningと内部Process、およびSafetyの非同一性。

Tool-using Digital Agents

Credential、Persistent State、Multi-session Action、Rollback、Rapid Propagation。

Multi-Agent Systems

分散情報とAgent間InteractionによるCoordination Failure。

Vendor-mediated Control

Model UpdateやProvider PolicyによるLocal Oversightの変化。

Scalable Evaluation

AI CapabilityとHuman Evaluation CapacityのGap。

がある。

しかし、

である。

62. Research Gaps

Long-term Human Oversight of Agentic AI

Persistent Agent利用でHuman VigilanceやSkillがどう変化するか。

Real-world Digital-Agent Incident Data

Benchmarkではなく実環境でのFailure / Recovery。

Multi-Agent Safety

HiddenBench等の限定条件を超えた実環境でのInteraction Failure。

Human + AI Critic Interaction

CriticがHuman Reviewを改善・悪化させる条件。

Evaluator Dependence

LLM-as-JudgeやAI Criticへの依存。

Common-mode Failure

複数AIによるReviewが同一Failureを共有する条件。

Reasoning-trace Faithfulness

Faithfulness、Monitorability、Safety Robustnessの関係。

Provider-mediated Safety Control

Provider UpdateやPolicy変更がLocal Controlへ与える影響。

Persistent-Agent Human Skill / Vigilance

長期利用下のHuman fallback能力。

Recovery from Irreversible Digital Actions

Rollback困難なDigital ActionからのRecovery。

Scalable Oversight

Human Review能力を超えるAIへのOversight。

Meaningful Human Control Measurement

分野ごとに異なるMHCをどうOperationalize（操作化）するか。

63. Source Ledger

[D10-S01] Endsley & Kiris (1995)

Citation
Endsley, M. R., & Kiris, E. O. The Out-of-the-Loop Performance Problem and Level of Control in Automation.

Publication
Human Factors, 37(2), 381–394

DOI
10.1518/001872095779064555

Source Type
Controlled Human Factors Experiment

System
Expert-system automation / navigation task

Supports
Automation conditions can reduce Situation Awareness and impair failure takeover performance.

Does Not Support
Universal deskilling; direct transfer to current Agentic AI.

Evidence Layer
Existing Human Factors Evidence

Evidence Status
A within studied scope.

[D10-S02] Parasuraman, Sheridan & Wickens (2000)

Citation
Parasuraman, R., Sheridan, T. B., & Wickens, C. D. A model for types and levels of human interaction with automation.

Publication
IEEE Transactions on Systems, Man, and Cybernetics — Part A, 30(3), 286–297

DOI
10.1109/3468.844354

Supports
Automation should be analyzed function-by-function rather than as a single scalar.

Does Not Support
One universally optimal automation level.

Evidence Layer
Existing Research Tradition.

[D10-S03] Bainbridge (1983)

Citation
Bainbridge, L. Ironies of Automation.

Publication
Automatica, 19(6), 775–779

DOI
10.1016/0005-1098(83)90046-8

Supports
Automation can leave humans responsible for difficult abnormal conditions.

Does Not Support
Automation is inherently unsafe.

Evidence Layer
Existing Research Tradition.

[D10-S04] Leveson — STAMP / Systems-Theoretic Safety

Citation
Leveson, N. Engineering a Safer World: Systems Thinking Applied to Safety.

Publisher
MIT Press

Publication
2011/2012 edition

Supports
Safety analysis based on constraints, control structure, feedback and sociotechnical interaction rather than only linear component failures.

Does Not Support
Every AI hazard requires STPA specifically.

Evidence Layer
Existing Safety Research Tradition.

[D10-S09] Weak-to-Strong Generalization

Source
OpenAI research, 2023

Topic
Can weak supervisors elicit capabilities from stronger models?

Supports
Scalable Oversight can be studied empirically through weak-supervisor / strong-model analogues.

Does Not Support
Superhuman AI alignment or oversight is solved.

Evidence Layer
Direct AI-Specific Research

Evidence Role
Early evidence / research direction.

[D10-S10] Meier et al. (2026)

Citation
Meier, D., Francis, L. J., Kaiser, M. B., Ruas, T., Wahle, J. P., & Gipp, B. Risky Business: Measuring The Faithfulness-Safety Tension.

Status
arXiv preprint, August 2026

System
Large Reasoning Models

Method
Targeted Reasoning Replacement / HazMart

Main Result
特定の実験条件でReasoning FaithfulnessとUnsafe ReasoningへのRobust Rejectionの緊張関係を観察。

Supports
Faithful Reasoning ≠ Safe Reasoning.

Does Not Support
Faithfulness generally decreases safety across models and environments.

Evidence Layer
Direct AI-Specific Evidence

Evidence Status
B with strong scope limitation.

[D10-S11] Li, Naito & Shirado — HiddenBench

Citation
Li, Y., Naito, A., & Shirado, H. Systematic Failures in Collective Reasoning under Distributed Information in Multi-Agent LLMs.

Venue
ICML 2026 / arXiv 2505.11556

Benchmark
HiddenBench, 65 tasks

Models
15 frontier LLMs

Main Result
Full-information Single Agent平均80.7%に対し、Distributed-information Multi-Agent条件では30.1%。

Supports
Severe collective reasoning failure can occur in distributed-information Multi-Agent LLM settings.

Does Not Support
All Multi-Agent Systems are unsafe or structurally inferior.

Evidence Layer
Direct AI-Specific Evidence

Evidence Status
B within studied setting.

[D10-S12] ISO 18497-1:2024

Title
Agricultural machinery and tractors — Safety of partially automated, semi-autonomous and autonomous machinery — Part 1: Machine design principles and vocabulary

Type
International Standard

Scope
Agricultural machinery and tractors with partially automated, semi-autonomous and autonomous functions.

Supports
Agriculture-specific embodied safety boundary.

Does Not Support
General Agentic AI safety claims.

Evidence Role
Sector Safety Standard.

[D10-S13] ISO 21448:2022

Title
Road vehicles — Safety of the intended functionality

Type
International Standard

Scope
Road vehicle intended functionality where situational awareness from complex sensors and processing algorithms is safety-relevant.

Supports
Hazard can arise from specification / performance insufficiency without component failure.

Does Not Support
Direct application to general-purpose AI agents.

Evidence Layer
Adjacent Sector Safety Standard.

[D10-S14] EU AI Act Article 14

Instrument
Regulation (EU) 2024/1689

Scope
High-risk AI systems

Relevant Requirement
Effective Human Oversight, understanding of capabilities and limitations, monitoring, interpretation, override / reverse, intervention and safe halt.

Boundary
Measures are proportionate to risk, autonomy level and context of use.

Evidence Role
Binding Legal Source within its scope.

[D10-S15] DoD Directive 3000.09

Instrument
Autonomy in Weapon Systems

Revision
January 25, 2023

Scope
U.S. Department of Defense autonomous and semi-autonomous weapon systems

Relevant Requirement
Design should allow commanders and operators to exercise appropriate levels of human judgment over use of force.

Does Not Support
General civilian AI oversight requirement.

Evidence Role
Military Policy / Legal-Operational Boundary.

64. Cross-References

Domain 0 — Cross-Domain Audit Protocol

Authority、Decision Formation、Influence、Execution、Responsibility、Observability、Time、Reversibility。

Domain 1 — Learning・Capability Formation

Skill Retention、Fallback Capability。

Domain 2 — Decision Formation

Recommendation、Human Approval、Decision Authority。

Domain 3 — Trust・Reliance

Automation Bias、Trust、Appropriate Reliance。

Domain 6 — Mental Health

Risk Detection、Escalation、Intervention、Safe Outcome。

Domain 7 — Care

Monitoring、Human Response、Care Capacity、Responsibility。

Domain 8 — Accessibility

Reliability、Continuity、Fallback、Infrastructure Dependence。

Domain 9 — Work・Organization

Verification Capacity、Oversight Workload、Organizational Pressure。

Domain 11 — Institution・Law・Governance

Legal Responsibility、Assurance、Audit、Provider Governance。

Domain 12 — Finance

Digital Action、Authorization、Transaction Reversibility。

65. Existing-Theory-First Final Judgment

Domain 10では、

• Human Factors

• Supervisory Control

• Shared Control

• Function Allocation

• Situation Awareness

• Out-of-the-loop Research

• Cognitive Systems Engineering

• Systems-Theoretic Safety

• Resilience Engineering

• High Reliability Organization

によって主要問題の大部分を説明できる。

AI-specific Extensionが必要なのは、

• LLM Verification Burden

• AI-assisted Oversight

• Reasoning-trace Faithfulness

• Tool-using Digital Agents

• Multi-Agent Coordination

• Vendor-mediated Control

• Scalable Evaluation

等である。

したがって最終判定は、

である。

66. Final Assessment

Domain 10で最も危険な短絡は、

というChainである。

このChainは成立しない。

Human PresenceやFormal Approvalは、Effective OversightのEvidenceにはならない。

より適切なのは、

• Observability

• Interpretation

• Expertise

• Authority

• Time

• Action Capability

• System Response

• Feedback

• Reversibility

• Recovery

• Organizational Capacity

• Provider / Infrastructure

• Independent Safety Constraints

を具体的なContextごとに監査することである。

ただし、これらをすべて満たせばSafetyが保証されるという意味でもない。

これらは、

である。

また、

を維持する。

SafetyはSystemを止めることだけではない。

Harmを制限し、安全な状態へ移し、必要なら安定したOperationまたは安全停止状態へRecoveryできることまで含む。

Physical RobotだけでなくDigital-Action AgentもControl対象となる。

AIが、

• Message

• Code

• Account

• Transaction

• Database

• External System

を操作できるなら、それは現実の状態を変化させるSystemである。

Reasoning Traceについても、

を維持する。[D10-S10]

Multi-Agent Systemについても、

であり、特にDistributed Information環境ではCollective Reasoning Failureが直接観察されている。[D10-S11]

ただし、その結果を全Multi-Agent Systemへ一般化しない。

そしてHuman Oversightに関するLegal / Policy Requirementも一つではない。

EU AI Act、Military Policy、Sector Safety Standardでは、

• 対象System

• Risk

• Human Role

• Required Control

• Legal Effect

が異なる。[D10-S12][D10-S13][D10-S14][D10-S15]

したがってDomain 10の最終原則は、

である。

人間はSafety Architectureの重要な構成要素になり得る。

しかし、

それ自体をSafety Mechanismとして扱ってはならない。

Domain 10では、

からControl Structure全体を監査する。

Publication Status: Closure
Evidence Cutoff: 2026年9月
Update Policy: Agentic AI、Multi-Agent Safety、Scalable Oversight、Reasoning Faithfulness、Human Oversight Law / Standards、Real-world Incident Evidenceに重大更新が生じた場合に更新対象とする。