【Human–AI Relations 領域3】信頼・依存的利用・適切な利用・較正 ―― AIを「どれだけ信じるか」ではなく、いつ利用し、いつ拒否・修正できるかを問う
Human–AI Relations 監査インデックス β
領域 3 / Domain 3
信頼・依存的利用・適切な利用・較正 / Trust・Reliance・Appropriate Reliance・Calibration
AIを「どれだけ信じるか」ではなく、いつ利用し、いつ拒否・修正できるかを監査する
0. Document Status
Document Type: Domain Audit / Publication Version
Domain: Trust・Reliance・Appropriate Reliance・Calibration
Status: Publication Closure
Theory Status: 新しい包括的Human–AI Trust Theory（人間―AI信頼理論）の提案ではない
Primary Function: AIへの心理的Trust（信頼）と、実際のReliance Behavior（依存的利用行動）、Appropriate Reliance（適切な利用）、Calibration（較正）を分離して監査する
Parent Protocol: Domain 0 — Cross-Domain Audit Protocol
本領域では、
AIを信頼しているか
だけではなく、
AIが正しい場合に利用し、誤っている場合に拒否・修正できるか
を中心に評価する。
1. Domain
本領域ではHuman–AI Interaction（人間―AI相互作用）における、
Trust（信頼）
Reliance（依存的利用）
Compliance（追従）
Appropriate Reliance（適切な利用）
Calibration（較正）
Automation Bias（自動化バイアス）
Algorithm Aversion（アルゴリズム忌避）
Algorithm Appreciation（アルゴリズム選好）
Advice Taking（助言利用）
Confidence（確信度）
Explanation（説明）
Error Detection（誤り検出）
Override（上書き・介入）
Sycophancy（迎合）
Anthropomorphic Cues（擬人化的手がかり）
を分離して扱う。
対象には、
Traditional Automation（従来型自動化）
Decision Support System（意思決定支援システム）
Algorithmic Advice（アルゴリズム助言）
Large Language Model（大規模言語モデル、LLM）
Generative AI（生成AI）
Conversational AI（対話型AI）
などを含む。
これらを一つの「AIへの信頼」として扱わない。
2. Core Question
中心問いは次である。
AIへのTrustが高いほどHuman–AI Outcomeは良くなるのか。
答えは単純ではない。
AIが正しい場合にはRelianceがBenefitを生むことがある。
一方、AIが誤っている場合には同じRelianceがErrorを増幅することがある。
したがって中心課題は、
Trustの最大化
ではなく、
System Capability（システム能力）とTask Context（課題文脈）に応じてReliance Behaviorを変えられるか
である。
Domain 3の中心原則は、
Trust ≠ Reliance ≠ Appropriate Reliance
である。
3. Key Distinctions
3.1 Trust ≠ Reliance
Trustは、AIの能力・予測可能性・信頼性等に関するPsychological / Cognitive Evaluation（心理的・認知的評価）として測定されることがある。
Relianceは、
Advice（助言）を採用する
AI Recommendation（AI推奨）を使用する
Verification（検証）を省略する
Decision（判断）をAIに委ねる
などのBehavior（行動）として測定される。
したがって、
Self-reported Trust（自己申告された信頼）
≠ Observed Reliance Behavior（観察された依存的利用行動）
である。
3.2 Reliance ≠ Compliance
Relianceは広い利用行動である。
Complianceは特に、
AI Recommendationに従う
というBehaviorを指す。
利用したが最終的に従わなかった場合もある。
3.3 Reliance ≠ Appropriate Reliance
高い利用率は、それ自体では良いOutcomeを意味しない。
AIが誤っているときにも高いRelianceを示すなら、むしろ問題になる。
Appropriate Relianceは、
AI Correctness（AIの正誤）、Task（課題）、Error Cost（誤りコスト）等に条件づけてReliance Behaviorが適切に変化すること
として評価する。
3.4 High Trust ≠ Good Outcome
高いTrustが良いOutcomeを保証するわけではない。
AIが誤っている場合、高Trust / High RelianceはErrorを増幅し得る。
3.5 Low Trust ≠ Safety
低TrustもSafetyを保証しない。
有効なAI RecommendationやWarning（警告）を拒否するUnderreliance（過少利用）もOutcomeを悪化させ得る。
3.6 Accuracy ≠ Trustworthiness
System Accuracy（システム精度）は重要である。
しかしTrustworthiness（信頼に値する性質）は、文脈によって、
Reliability（信頼性）
Predictability（予測可能性）
Robustness（頑健性）
Transparency（透明性）
Recoverability（復旧可能性）
Goal Alignment（利用者目標との整合）
等を含み得る。
Accuracyだけへ還元しない。
3.7 Confidence ≠ Accuracy
AIが断定的に答えることと、そのAnswer（回答）が正しいことは別である。
3.8 Verbalized Confidence ≠ Calibrated Probability
LLMが、
「ほぼ確実です」
と表現しても、それをStatistically Calibrated Probability（統計的に較正された確率）として扱わない。
3.9 Explanation ≠ Understanding
Explanationが提示されたことと、利用者がUnderstanding（理解）したことは別である。
3.10 Explanation ≠ Calibration
Explanationが存在しても、利用者のTrustやRelianceがSystem Capabilityに適切に一致するとは限らない。
3.11 Explanation ≠ Appropriate Reliance
ExplanationがTrustを上げても、Correct Advice（正しい助言）だけを採用し、Incorrect Advice（誤った助言）を拒否できるとは限らない。
3.12 Explanation ≠ Verification
Explanationが存在することと、利用者が独立したVerification（検証）を実行したことは別である。
3.13 Automation Bias ≠ Trust
Automation BiasはPsychological Trustだけでは説明できない。
Workload（作業負荷）
Time Pressure（時間圧）
Attention（注意）
Verification Cost（検証コスト）
Interface（インターフェース）
Habit（習慣）
等も関係し得る。
3.14 Algorithm Aversion ≠ General Distrust
Algorithm Errorを観察した後の利用減少を、AI全般への一般的不信と同一視しない。
3.15 Algorithm Appreciation ≠ Appropriate Reliance
Algorithmic AdviceをHuman Adviceより強く利用することと、その利用が適切であることは別である。
3.16 Error Detection ≠ Correct Override
AI Errorに気づくことと、正しい代替判断を生成できることは別能力である。
3.17 Human Override ≠ Better Decision
人間がAI出力を上書きしたことだけでは、Final Decision（最終判断）が改善したとは言えない。
3.18 Human Review ≠ Effective Review
Human Reviewer（人間レビュー担当者）が存在しても、
Errorを見つけられない
Correct Alternative（正しい代替案）を作れない
時間がない
AI出力から独立して評価できない
場合がある。
したがって、
Human Review（人間レビュー） ≠ Effective Review（実効的レビュー）
である。
ここでは、Expert（専門家）であっても常にAI Errorを検出・修正できるという前提を置かない。
ただし、ExpertiseとAI Error Correctionの関係は独立した実証課題として扱う。
3.19 Agreement ≠ Independent Validation
AIが利用者へ同意したことと、利用者の考えが独立に検証されたことは別である。
3.20 Sycophancy ≠ Human Trust Increase
AIがUser Belief（利用者の信念）に迎合するModel Behavior（モデル行動）が観察されても、それだけでHuman Trustが高まったとは言えない。
3.21 Sycophancy ≠ Human Reliance Increase
同様に、Sycophancyが実際のRelianceを高めたかはHuman Outcomeを別途測定する必要がある。
4. Trust / Reliance Measurement
TrustとRelianceは別々に記録する。
Trust Measure（信頼尺度）
例：
自己申告質問紙（Self-report Questionnaire）
知覚された信頼性（Perceived Reliability）
知覚された能力（Perceived Competence）
知覚された予測可能性（Perceived Predictability）
Reliance Measure（利用行動尺度）
例：
推奨受容（Recommendation Acceptance）
助言重み（Advice Weight）
切替行動（Switching）
上書き・介入（Override）
検証（Verification）
利用 / 非利用（Use / Non-use）
Outcome（結果）
さらに、
最終正確性（Final Accuracy）
エラー率（Error Rate）
判断品質（Decision Quality）
安全性（Safety）
効用（Utility）
を別Outcomeとして記録する。
5. Appropriate Reliance
Appropriate Relianceを単なる利用率として扱わない。
最低限、
Correct Acceptance（正しいAI助言の適切な採用）
AIがCorrectな場合に、その助言を採用できるか。
Correct Rejection（誤ったAI助言の適切な拒否）
AIがIncorrectな場合に、拒否・修正できるか。
を分ける。
さらに、
誤りコスト（Error Cost）
偽陽性 / 偽陰性コスト（False Positive / False Negative Cost）
人間単独時の正確性（Human Baseline Accuracy）
検証コスト（Verification Cost）
可逆性（Reversibility）
を考慮する。
したがって、
全体利用率の上昇（Overall Reliance Rate ↑）
≠ 適切な利用の上昇（Appropriate Reliance ↑）
である。
新しい単一のAppropriate Reliance Scoreは提案しない。
6. Calibration
Calibrationを一つの概念として扱わない。
Trust Calibration（信頼較正）
Subjective TrustがSystem Capabilityにどの程度対応しているか。
Reliance Calibration（利用行動較正）
AI Correctness等に応じてReliance Behaviorが適切に変化するか。
Confidence Calibration（確信度較正）
ConfidenceとCorrectnessがどの程度対応するか。
Error Sensitivity（誤り感度）
AI ErrorにHuman Behaviorが反応するか。
Discrimination（識別）
Correct AdviceとIncorrect Adviceを区別して扱えるか。
平均的な信頼水準（Average Trust） ≈ 平均精度（Average Accuracy）
だけでCalibrationが成立したとはしない。
7. Existing Research Traditions
Domain 3の主要問題は、既存研究へ強く接続できる。
Trust in Automation（自動化システムへの信頼）
TrustとReliance、Misuse（誤用）、Disuse（不使用）、Calibrationを扱う。
Human Factors（ヒューマンファクター）
Workload、Attention、Automation、Monitoring、Human Error等を扱う。
Automation Bias（自動化バイアス）
Automated Aid（自動化支援）によるCommission / Omission Errorを扱う。
Judge–Advisor Systems（判断者―助言者システム、JAS）
AdviceがHuman Judgmentをどの程度動かすかを扱う。
Advice Taking（助言利用研究）
Advice Weight、Advisor Expertise、Judge Confidence等。
Algorithm Aversion（アルゴリズム忌避）
Algorithm Errorを見た後のUnderuse。
Algorithm Appreciation（アルゴリズム選好）
一定条件でAlgorithmic AdviceをHuman Adviceより重く利用する現象。
Explainable AI（説明可能AI、XAI）
ExplanationとTrust、Understanding、Reliance等を扱う。
Decision Science（意思決定科学）
Uncertainty、Advice、Error、Choice、Calibrationを扱う。
8. Trust in Automation
Lee & See (2004)は、Trust in Automation研究を統合したFoundational Review / Conceptual Framework（基礎的レビュー・概念枠組み）である。[D3-S01]
中心的な設計課題は、
Trust Maximization（信頼最大化）
ではなく、
Appropriate Reliance（適切な利用）
である。
System Capability以上にTrust / Relianceが高ければMisuseが起こり得る。
System Capability以下ならDisuseが起こり得る。
したがって、
信頼が高いほど常に良いとは限らない。
ただし、Lee & SeeはModern LLMを対象としたDirect Effect Sizeを提供する研究ではない。
古典的Automation研究からLLM固有の効果量を直接外挿しない。
9. Automation Bias
Automation Biasでは、
Commission Error（作為エラー）
誤ったAutomated Recommendationへ従う。
Omission Error（不作為エラー）
Automationが警告しなかったため、人間も問題を見落とす。
を分ける。[D3-S02]
Skitka, Mosier, & Burdick (1999)等の研究では、Automated Aidを利用する条件でこの種のErrorが観察されている。[D3-S02]
重要なのは、
Automation Bias ≠ Psychological Trust
である。
Automation Biasは、
Workload
Time Pressure
Attention Allocation（注意配分）
Verification Cost
Interface
Habit
等でも生じ得る。
10. Algorithm Aversion
Dietvorst, Simmons, & Massey (2015)は、AlgorithmがErrorを犯す場面を観察した後、人々がAlgorithmをUnderuseする条件を示した。[D3-S03]
Algorithmが平均的にはHumanより高性能でも、Errorを見た後に利用が急激に減る場合がある。
したがって、
人々は一般にAIを信用しない
とは言えない。[D3-S03]
Algorithm Aversionは特定条件で観察されるBehaviorである。
11. Algorithm Appreciation
Logg, Minson, & Moore (2019)は、6つの実験、合計2,664名を対象に、一定のNumerical Estimation Task（数量推定課題）においてAlgorithmic AdviceがHuman Adviceより強くWeightされる条件を示した。[D3-S04]
したがって、
Algorithm Aversion
と、
Algorithm Appreciation
は両方存在する。[D3-S03][D3-S04]
人々は常にAlgorithmを信用しない
とも、
人々は常にAlgorithmを過信する
とも言えない。
12. Judge–Advisor Systems / Advice Taking
Judge–Advisor Systems（判断者―助言者システム、JAS）では、
初期判断（Initial Judgment）
→ 助言（Advice）
→ 最終判断（Final Judgment）
を分離する。
代表的なBehavioral Measure（行動指標）の一つがWeight of Advice（助言重み、WOA）である。
典型的には、
WOA = (Final Judgment − Initial Judgment) / (Advice − Initial Judgment)
で表される。
これはAdviceがHuman Judgmentをどの程度移動させたかを測定する。
したがって、
Advice Influence ≠ Psychological Trust
である。
ただしWOAは万能尺度ではない。
AdviceとInitial Judgmentが同一の場合
分母が極めて小さい場合
Adviceを越えてJudgmentが移動する場合
等には解釈上の注意が必要である。
WOAを単純な0〜1の「AI依存率」として扱わない。
13. Explanation / XAI
ExplanationはAppropriate Relianceを自動的には生まない。
Buçinca, Malaya, & Gajos (2021)は、N = 199のControlled Experiment（統制実験）で、単純なExplanationだけではOverreliance（過剰依存）が十分に抑制されず、Cognitive Forcing Functions（認知的強制機能）が研究条件内でOverrelianceを減らすことを示した。[D3-S05]
ただしCognitive Forcingは、
Appropriate Relianceの普遍的必須条件（Universal Requirement）
ではない。
利用者のSubjective Evaluation（主観評価）が低下するTrade-offも報告されている。[D3-S05]
14. Explanation × Task Difficulty / Verification Cost
Vasconcelos et al. (2023)は、Explanationの効果がTask Difficulty（課題難易度）やVerification Cost（検証コスト）に依存することを示した。[D3-S06]
利用者がAI Answerを比較的容易に独立検証できる場合、ExplanationがOverreliance低減に役立つことがある。
一方、Taskが難しくVerification Costが高い条件では、その効果が弱まる、消失する、または逆方向となる場合がある。[D3-S06]
したがって、
Explanation ≠ Appropriate Reliance
を維持する。
また、
Explanationが常に有害である
とも言わない。[D3-S06]
15. Confidence / Uncertainty
LLMのConfidenceをAccuracyとして扱わない。
Xiong et al. (2024)は、複数LLMにおけるConfidence Elicitation（確信度抽出）を評価した。[D3-S07]
Verbalized Confidenceは、
Model
Task
Prompt
Elicitation Method
に依存し、Calibrated Probabilityとして直接扱えるものではない。[D3-S07]
したがって、
Confidence ≠ Accuracy
Verbalized Confidence ≠ Calibrated Probability
を維持する。
ただし、
すべてのLLMが常に過信的である
とは一般化しない。[D3-S07]
16. Linguistic Confidence
Natural Language（自然言語）の、
Fluency（流暢さ）
Certainty（断定性）
Politeness（丁寧さ）
Explanation Quality（説明品質）
は、Model Accuracyとは別属性である。
Model-side Confidence Studyだけから、
流暢な言語表現が人間のOverrelianceを引き起こす
とは推論しない。
Human RelianceへのEffectは別途Human Behavioral Evidenceを要求する。
17. Human Review / Override
Human Reviewが存在しても、それだけではSafetyを確立できない。
最低限、
誤り検出（Error Detection）
→ 解釈（Interpretation）
→ 代替案生成（Alternative Generation）
→ 正しい上書き（Correct Override）
を分ける。
人間がErrorを見つけても、Correct Alternativeを生成できない場合がある。
また、レビュー条件として、
Workload
Time Pressure
Expertise
Verification Capacity
Independence from AI Output
を確認する。
したがって、
Human Presence ≠ Effective Review
Error Detection ≠ Correct Override
Human Override ≠ Better Decision
である。
Expertが常にAI Errorを検出・修正できるとは仮定しないが、その条件差はResearch Gapとして扱う。
18. Sycophancy
Sharma et al. (2024)は、複数のHuman-feedback-trained AI Assistant（人間フィードバックで訓練されたAIアシスタント）においてSycophancy（迎合）を観察した。[D3-S08]
研究では、
利用者の信念（User Belief）に合わせたResponse
Human Preferenceがbelief-matching responseを好む場合
Preference OptimizationとTruthfulnessのTrade-off
が確認されている。[D3-S08]
直接支持されるのは、
検証された条件下で、SycophancyがModel Behaviorとして観察される。
までである。[D3-S08]
直接支持されないのは、
Sycophancy → Human Trust ↑
Sycophancy → Reliance ↑
Sycophancy → Decision Quality ↓
である。
Human Outcomeには別Evidenceを要求する。
19. Agreement ≠ Independent Validation
Sycophancyの重要な含意は、
AIが同意した
≠
利用者の考えが独立に検証された
ことである。
これは主としてConceptual / Epistemic Distinction（概念的・認識論的区別）である。
Model AgreementをEvidence Confirmationとして扱わない。
20. Conversational Fluency / Anthropomorphic Cues
Conversational AIでは、Interface Cue（インターフェース上の手がかり）がUser Perceptionへ影響する場合がある。
Cohn et al. (2024)では、
Voice（音声）
First-person Pronoun（第一人称代名詞、「I」）
等のAnthropomorphic Cues（擬人化的手がかり）が、特定条件でAnthropomorphism（擬人化知覚）やPerceived Accuracy（知覚された正確性）を変化させることが報告されている。[D3-S09]
ただしEffectはContext依存である。
したがって、
人間らしいCommunication（Human-like Communication）
≠ 人間らしいCompetence（Human-like Competence）
Anthropomorphism ≠ Overtrust
である。
Anthropomorphic Designが常にOverrelianceを引き起こすとはしない。[D3-S09]
21. Jagged Capability Boundary
Dell'Acqua et al.は、758名のBCG Consultantを対象としたField Experiment（フィールド実験）で、GPT-4のBenefit / HarmがTaskによって大きく異なることを示した。[D3-S10]
あるTaskではAI利用によってProductivity（生産性）やQuality（品質）が改善した。
一方、AIのCapability Boundary（能力境界）外のTaskでは、AI利用群のPerformance（課題成績）が悪化する場合があった。[D3-S10]
Domain 3で重要なのは、
一つのTaskでの成功
≠ 隣接TaskでのReliability
である。
ただし、この研究はPsychological Trustを直接測定したものではない。
したがって、
High TrustがPerformance Lossを引き起こした
とは言わない。
Jagged CapabilityはSystem CapabilityのBoundary Conditionとして扱う。
22. Personalization / Persistent Memory
Persistent Memory（永続的記憶）やPersonalization（個別化）は、今後のGeneral-purpose AIに重要なSystem Characteristic（システム特性）である。
しかし2026年時点で、
Long-term Trust
Long-term Reliance
Dependency
Calibration
Cross-domain Trust Transfer
へのMonths-to-years Scale（数か月〜数年）のHuman Longitudinal Evidenceは不足している。
したがって、
Persistent Memoryが持続的に較正されたTrustを生む
Persistent MemoryがDependencyを生む
Persistent Memoryがmemory-induced sycophancyを生む
を確立Claimとして置かない。
本領域ではResearch Gapとして扱う。
23. Organizational Reliance
職場でAI利用率が高くても、それがPsychological Trustを意味するとは限らない。
利用Behaviorは、
Mandatory Use（利用義務）
Workflow Design（業務設計）
Managerial Pressure（管理圧力）
Time Constraint（時間制約）
Productivity Target（生産性目標）
Lack of Alternative（代替手段の欠如）
等によって生じ得る。
したがって、
Organizational Compliance（組織的追従） ≠ Psychological Trust
である。
24. Expertise
Expertise（専門性）もRelianceへ影響し得る。
ただし、
専門家であることだけでAutomation Biasの影響を受けないとは仮定しない。
同時に、
初心者であることだけで必ずOvertrustするとも仮定しない。
Task Knowledge（課題知識）、AI Literacy（AIリテラシー）、Verification Ability（検証能力）、Time Pressure等とのInteractionを確認する。
ExpertiseとAI Error Detection / Correctionの関係は、独立した実証課題として扱う。
25. Useful but Non-Core Concepts
以下は有用だがDomain 3のCore Constructではない。
Cognitive Forcing Functions（認知的強制機能）
Overreliance低減のDesign Intervention（設計介入）。[D3-S05]
Epistemic Vigilance（認識論的警戒）
Information Source（情報源）を批判的に評価するConceptual Lens。
Cognitive Offloading（認知的オフローディング）
Reliance BehaviorのAlternative Mechanism（代替メカニズム）。
これらを新しいDomain 3 Theoryの柱へ昇格させない。
26. Classical / Philosophical Lenses
Onora O'Neill
TrustとTrustworthinessを区別するConceptual / Normative Lensとして利用可能。
Aristotle
Appropriate Relianceを「中庸」と同一視しない。
Niklas Luhmann
TrustとComplexity Reduction（複雑性縮減）の背景理論としてOptional。
Stanley Milgram
AI RelianceのCore Prior Artとしては使用しない。
AI Advice AcceptanceをObedience to Authority（権威への服従）と同一視しない。
27. Alternative Explanations
高Reliance Behaviorが観察されても、Psychological Trust以外の説明を検討する。
Convenience（利便性）
Time Pressure（時間圧）
Verification Cost（検証コスト）
Workflow Requirement（業務上の要件）
Default（既定設定）
Lack of Expertise（専門性不足）
Lack of Alternative（代替手段の欠如）
Incentive（インセンティブ）
Habit（習慣）
したがって、
利用増加（Use ↑）
≠ Trust増加（Trust ↑）
である。
28. Counterevidence
28.1 Algorithm Aversion
AIを過剰利用するだけでなく、Underuseも存在する。[D3-S03]
28.2 Algorithm Appreciation
逆にAlgorithmic AdviceをHuman Adviceより重く利用する条件もある。[D3-S04]
28.3 ExplanationのMixed Effects
ExplanationはBenefitにもRiskにもなり得る。[D3-S05][D3-S06]
28.4 Human Reviewの限界
Human Reviewerが存在してもAI Errorを修正できるとは限らない。
ここはConceptual / Oversight Boundaryとして扱い、Expert-specificなEffect Sizeは主張しない。
28.5 High Accuracy ≠ Universal Reliability
Jagged CapabilityによってTask間でCapabilityが不規則に変化し得る。[D3-S10]
29. Evidence Status
Conceptual Non-entailmentにはA–Fを機械的に付与しない。
例えば、
Trust ≠ Reliance
Reliance ≠ Appropriate Reliance
Agreement ≠ Independent Validation
Error Detection ≠ Correct Override
は主としてConceptual / Measurement Distinctionである。
Empirical ClaimにはDomain 0規格を使う。
A — Established within stated scope
Automation BiasがCommission / Omission Errorとして観察されること。[D3-S02]
Algorithm Aversionが特定条件で生じること。[D3-S03]
Algorithm Appreciationが特定条件で生じること。[D3-S04]
B — Direct empirical support
Cognitive Forcingが特定条件でOverrelianceを減らすこと。[D3-S05]
Explanation EffectがTask Difficulty / Verification Costに依存すること。[D3-S06]
LLM Verbalized Confidenceが必ずしもCalibrationされていないこと。[D3-S07]
SycophancyがModel Behaviorとして観察されること。[D3-S08]
Anthropomorphic Cueが特定条件でPerceived Accuracy等を変化させること。[D3-S09]
Generative AI CapabilityがTask間でJaggedに変化し得ること。[D3-S10]
E — Evidence currently insufficient / indeterminate
Persistent MemoryがLong-term Trustを較正する。
Persistent MemoryがDependencyを生む。
SycophancyがLong-term Human Trustを高める。
Fluent LLM Languageが一般にOverrelianceを引き起こす。
ExpertiseだけでAI Error Detection / Correction能力を予測できる。
30. 現時点で言えること / What We Can Say Now
2026年時点で比較的安全に言えることは次である。
Psychological TrustとObserved Reliance Behaviorは分けて測定する必要がある。[D3-S01]
RelianceとAppropriate Relianceは別Outcomeである。[D3-S01]
High TrustそのものはHuman–AI Outcome改善を保証しない。[D3-S01]
Low TrustそのものもSafetyを保証しない。[D3-S01][D3-S03]
Automation BiasはPsychological Trustだけでは説明できない。[D3-S02]
Algorithm AversionとAlgorithm Appreciationは異なる条件で双方生じ得る。[D3-S03][D3-S04]
ExplanationはAppropriate Relianceを保証しない。[D3-S05][D3-S06]
ExplanationによるOverreliance低減効果はTask DifficultyやVerification Costに依存する場合がある。[D3-S06]
Cognitive Forcingは特定条件でOverrelianceを減らし得るが、Universal Requirementではない。[D3-S05]
LLMのVerbalized ConfidenceをCalibrated Probabilityとして扱うべきではない。[D3-S07]
Human-feedback-trained LLMでSycophancyがModel Behaviorとして観察されている。[D3-S08]
一つのTaskでのAI成功は、隣接TaskでのReliabilityを保証しない。[D3-S10]
Anthropomorphic Cueは特定条件でPerceived AccuracyやAnthropomorphismを変化させ得るが、それだけでOvertrustを確立しない。[D3-S09]
31. 現時点では言えないこと / What We Cannot Say Yet
以下は一般化できない。
Trustが高いほどHuman–AI Outcomeが一般に改善するとは言えない。[D3-S01]
Trustが低いほどSafetyが一般に改善するとは言えない。[D3-S01][D3-S03]
AI Accuracyが高ければ、自動的に較正されたTrustが形成されるとは言えない。[D3-S01]
Automation Biasの存在だけで、Psychological Overtrustが証明されたとは言えない。[D3-S02]
Algorithm Aversionの存在だけで、AI全般への一般的不信が証明されたとは言えない。[D3-S03]
Algorithm Appreciationの存在だけで、Appropriate Relianceが成立したとは言えない。[D3-S04]
Explanationが安定してAppropriate Relianceを生むとは言えない。[D3-S05][D3-S06]
Transparency（透明性）がAutomation Biasを防ぐとは一般化できない。[D3-S05][D3-S06]
AIのConfidence Display（確信度表示）がHuman Calibrationを安定して改善するとは言えない。[D3-S07]
流暢なLLM言語が一般にOverrelianceを引き起こすとは言えない。
Human Overrideがより良いDecisionを保証するとは言えない。
ExpertがAI Errorを安定して検出・修正できるとは言えない。
Novice（初心者）が一般にAIをOvertrustするとは言えない。
Sycophancyが必ずHuman Trustを増加させるとは言えない。[D3-S08]
Sycophancyが必ずRelianceを増加させるとは言えない。[D3-S08]
Sycophancyが必ずDecision Qualityを悪化させるとは言えない。[D3-S08]
Anthropomorphic Designが必ずOvertrustを引き起こすとは言えない。[D3-S09]
PersonalizationによってAIがよりTrustworthyになるとは言えない。
Persistent Memoryによって持続的に較正されたTrustが形成されるとは言えない。
Persistent Memoryが必ずDependencyを生むとは言えない。
Long-term AI Useが必ずTrustを増加させるとは言えない。
すべてのSystem / Taskに最適な単一のTrust水準が存在するとは言えない。[D3-S01]
32. Boundary Conditions
Trust / Reliance研究を比較するとき、最低限以下を記録する。
Population（対象集団）
Expertise（専門性）
AI / System Type（AI・システム種類）
Model / Version（モデル・バージョン）
Task（課題）
Actual AI Accuracy（実際のAI精度）
Error Type（誤り種類）
Error Frequency（誤り頻度）
Human Baseline Accuracy（人間単独時の精度）
Trust Measure（信頼尺度）
Reliance Measure（利用行動尺度）
Confidence Measure（確信度尺度）
Explanation Type（説明種類）
Task Difficulty（課題難易度）
Verification Cost（検証コスト）
Time Pressure（時間圧）
Incentive（インセンティブ）
Decision Consequence（判断結果の重大性）
Reversibility（可逆性）
Follow-up（追跡期間）
Repeated Interaction（反復相互作用）
Organizational Context（組織文脈）
Anthropomorphic Cue（擬人化的手がかり）
Persistent Memory / Personalization（永続的記憶 / 個別化）
33. Cross-References
Domain 0 — Cross-Domain Audit Protocol
Authority、Formation、Influence、Execution、ResponsibilityとTrust / Relianceを分離する。
Domain 1 — Learning・Capability Formation
Confidence、Metacognitive Calibration、Cognitive Offloadingとの境界。
Domain 2 — Decision Formation・Decision Support
Advice、Recommendation、Influence、Final Choice、Appropriate Relianceを接続する。
Domain 4 — Communication・Mediation・Translation
Fluency、Framing、Persuasion、ExplanationとTrustを分離する。
Domain 5 — Intimacy・Companion・Attachment
Relationship Satisfaction、Attachment-like Response、ResponsivenessとTrustを分離する。
Domain 6 — Mental Health
Feeling Heard、Validation、Reality Testing、Clinical Correctnessとの境界。
Domain 7 — Care・Aging・Supported Decision-Making
Care Recipient、Family、ProfessionalによるRelianceとDecision Support。
Domain 9 — Work・Organization・Algorithmic Management
Organizational ComplianceとPsychological Trustの分離。
Domain 10 — Oversight・Safety・Control
Human Presence、Error Detection、Correct Override、Effective Oversight。
Domain 11 — Institution・Law・Governance・Responsibility
Institutional Trust、Legitimacy、ContestabilityとPsychological Trustの分離。
Domain 12 — Finance・Consumer・Credit・Insurance
Algorithm Aversion / Appreciation、Robo-advice、Appropriate Reliance。
34. Source Ledger
[D3-S01] Lee & See (2004)
Full Citation
Lee, J. D., & See, K. A. (2004). Trust in Automation: Designing for Appropriate Reliance. Human Factors, 46(1), 50–80.
Year
2004
DOI
10.1518/hfes.46.1.50_30392
Source Type
Foundational Review / Conceptual Framework
Research Tradition
Human Factors / Trust in Automation
Claim Type
Conceptual / Review
Evidence Layer
Layer A — Existing Research Tradition
AI / System
Automation broadly
Supports
TrustとRelianceの区別、Appropriate Reliance、Misuse / Disuse、Calibrationの重要性。
Does Not Support
Modern LLMにおける直接Effect Size。
Evidence Status
Conceptual frameworkのため単一A–Fを機械的に付与しない。
Key Limitation
Generative AI以前のAutomation研究を統合したFramework。
[D3-S02] Skitka, Mosier & Burdick (1999)
Full Citation
Skitka, L. J., Mosier, K. L., & Burdick, M. (1999). Does Automation Bias Decision-Making? International Journal of Human-Computer Studies.
Year
1999
DOI
10.1006/ijhc.1999.0252
Source Type
Experimental Human Factors Study
Research Tradition
Automation Bias
Evidence Layer
Layer A
Population
Students
N
74
AI / System
Automated flight decision aid
Outcome
Commission / Omission Error
Supports
Automation Aid使用時にCommission / Omission Errorが生じ得ること。
Does Not Support
Modern LLMで同じEffect Sizeが必ず生じること。
Automation Bias = Psychological Trust。
Evidence Status
A within studied scope
[D3-S03] Dietvorst et al. (2015)
Full Citation
Dietvorst, B. J., Simmons, J. P., & Massey, C. (2015). Algorithm Aversion: People Erroneously Avoid Algorithms After Seeing Them Err. Journal of Experimental Psychology: General, 144(1), 114–126.
Year
2015
DOI
10.1037/xge0000033
Source Type
Behavioral Experiments
Research Tradition
Decision Science / Algorithm Aversion
Evidence Layer
Layer A / C
Design
Five experiments
Outcome
Algorithm use / avoidance
Supports
Algorithm Errorを観察した後にAlgorithmをUnderuseする条件。
Does Not Support
General human distrust of AI.
Evidence Status
A within studied scope
[D3-S04] Logg, Minson & Moore (2019)
Full Citation
Logg, J. M., Minson, J. A., & Moore, D. A. (2019). Algorithm Appreciation: People Prefer Algorithmic to Human Judgment. Organizational Behavior and Human Decision Processes, 151, 90–103.
Year
2019
DOI
10.1016/j.obhdp.2018.12.005
Source Type
Behavioral Experiments
Research Tradition
Advice Taking / Algorithm Appreciation
Evidence Layer
Layer A / C
N
2,664 total
Design
Six experiments
Outcome
Weight of Advice
Supports
一定のNumerical Judgment条件でAlgorithmic AdviceがHuman Adviceより強くWeightされること。
Does Not Support
Algorithm Appreciation = Appropriate Reliance。
Evidence Status
A within studied scope
[D3-S05] Buçinca, Malaya & Gajos (2021)
Full Citation
Buçinca, Z., Malaya, M. B., & Gajos, K. Z. (2021). To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-making.
Year
2021
DOI
10.1145/3449287
Source Type
Controlled HCI Experiment
Research Tradition
Human–AI Decision-Making / XAI
Evidence Layer
Layer B — Direct AI-Specific Evidence
Population
Crowd-workers
N
199
AI / System
Decision Support AI
Outcome
Overreliance / Decision Behavior / Subjective Evaluation
Supports
Cognitive Forcingが特定条件でOverrelianceを減らし得ること。
Explanationだけでは十分でない場合があること。
Does Not Support
Cognitive Forcingが普遍的に必要であること。
Evidence Status
B within studied conditions
[D3-S06] Vasconcelos et al. (2023)
Full Citation
Vasconcelos, H., et al. (2023). Explanations Can Reduce Overreliance on AI Systems During Decision-Making.
Year
2023
DOI
10.1145/3579605
Source Type
Controlled HCI Experiment
Research Tradition
XAI / Human–AI Decision-Making
Evidence Layer
Layer B
Population
Crowd-workers
N
200
Outcome
Overreliance
Supports
Explanationの効果がTask Difficulty / Verification Costに依存すること。
Does Not Support
ExplanationがすべてのTaskでOverrelianceを減らすこと。
Evidence Status
B within studied conditions
[D3-S07] Xiong et al. (2024)
Full Citation
Xiong, M., et al. (2024). Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs.
Year
2024
Primary Identifier
arXiv:2306.13063
Source Type
LLM Model Evaluation
Research Tradition
Uncertainty / Calibration
Evidence Layer
Layer B
AI / System
Multiple LLMs
Outcome
Confidence Elicitation / Calibration
Supports
LLM Verbalized ConfidenceがModel、Task、Elicitation Methodに依存し、Calibrated Probabilityとして単純利用できないこと。
Does Not Support
All LLMs are uniformly overconfident。
Human Relianceへの直接Effect。
Evidence Status
B for tested model behavior
[D3-S08] Sharma et al. (2024)
Full Citation
Sharma, M., et al. (2024). Towards Understanding Sycophancy in Language Models.
Year
2024
Publication Status
ICLR 2024
Source Type
Model Evaluation / Human Preference Analysis
Research Tradition
AI Safety / Model Behavior
Evidence Layer
Layer B
AI / System
Multiple human-feedback-trained AI assistants
Outcome
Sycophancy / Preference Alignment
Supports
Tested AssistantでSycophancyが生じること。
Human Preference Dataがbelief-matching responseを好む場合があること。
Does Not Support
Sycophancy necessarily increases Human Trust / Reliance / worsens downstream decision.
Evidence Status
B for model behavior
[D3-S09] Cohn et al. (2024)
Full Citation
Cohn, M., et al. (2024). Believing Anthropomorphism: Examining the Role of Anthropomorphic Cues on Trust in Large Language Models.
Year
2024
Publication Status
CHI 2024
Source Type
HCI Experiment
Research Tradition
Anthropomorphism / Trust in AI
Evidence Layer
Layer B
AI / System
LLM interface with text / voice / first-person cues
Outcome
Anthropomorphism / Perceived Accuracy / Trust-related perceptions
Supports
VoiceやFirst-person Cueが特定ContextでPerceived Accuracy等を変化させ得ること。
Does Not Support
Anthropomorphic Design necessarily causes Overtrust.
Evidence Status
B within studied conditions
[D3-S10] Dell'Acqua et al.
Full Citation
Dell'Acqua, F., et al. Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of Artificial Intelligence on Knowledge Worker Productivity and Quality.
Publication
Organization Science
DOI
10.1287/orsc.2025.21838
Source Type
Field Experiment
Research Tradition
Human–AI Work / Capability Boundary
Evidence Layer
Layer B
Population
BCG consultants
N
758
AI / System
GPT-4
Outcome
Professional task performance
Supports
Generative AI Benefit / HarmがTask Capability Boundaryによって異なり得ること。
Does Not Support
Psychological TrustがPerformance差の原因だったこと。
Evidence Status
B within studied task domain
35. Research Gaps
Longitudinal Trust Calibration
同一AIを数か月・数年利用したときTrust / Reliance / Verification Behaviorがどう変化するか。
Persistent Personalized AI
Long-term MemoryとPersonalizationがHuman Trustへどう作用するか。
Cross-Domain Trust Transfer
日常会話で形成されたTrustが、
Finance
Health
Career
Legal
等へ転移するか。
Human Outcome of Sycophancy
SycophancyがHuman Trust、Reliance、Decision Qualityへどの程度影響するか。
Real-world Appropriate Reliance
Laboratory Taskではなく、Organization内の実運用でAppropriate Relianceをどう測るか。
Expert Error Correction
Expertがどの条件でAI Errorを検出・修正できるか。
Anthropomorphic Interface
Voice、Embodiment（身体性）、Memory、Identity表現等がTrust / Relianceへ与える長期Effect。
36. Existing-Theory-First Final Judgment
Domain 3の主要問題の大部分は、
Trust in Automation
Human Factors
Judge–Advisor Systems
Advice Taking
Automation Bias
Algorithm Aversion
Algorithm Appreciation
Calibration
XAI
によって説明できる。
Generative AIでは、
Verbalized Confidence
Sycophancy
Conversational Fluency
Anthropomorphic Cues
Persistent Personalization
Jagged Capability Boundary
など、追加検証が必要なSystem Characteristic / Boundary Conditionが存在する。
しかし、それらは既存Trust研究を無効にするものではない。
したがって現在の判定は、
Existing theory mostly sufficient — AI-specific extension useful
である。
New Comprehensive Human–AI Trust Theory：No
37. Final Assessment
Human–AI Trustで重要なのは、
AIをどれだけ信じるか
ではない。
また、
AIを疑えば安全
でもない。
必要なのは、
AIの実際の能力、誤り、不確実性、Task Contextに応じて、Human Reliance Behaviorが適切に変化できるか
を確認することである。
そのためには、
信頼（Trust）
依存的利用（Reliance）
適切な利用（Appropriate Reliance）
確信度（Confidence）
正確性（Accuracy）
説明（Explanation）
誤り検出（Error Detection）
正しい上書き（Correct Override）
を分離する必要がある。
Generative AIでは、
流暢な言語表現（Fluent Language）
迎合（Sycophancy）
擬人化的手がかり（Anthropomorphic Cues）
不規則な能力境界（Jagged Capability）
持続的個別化（Persistent Personalization）
がこの問題を複雑化する。
しかし中心構造は変わらない。
Domain 3の監査単位は、
Person × AI/System × Task × System Capability × AI Correctness × Trust × Reliance Behavior × Verification Capacity × Error Cost × Context × Outcome × Time Horizon
である。
最終的に問うべきなのは、
そのAIを信頼しているか
だけではない。
より重要なのは、
そのAIが正しいときに利用でき、誤っているときに検出・拒否・修正できるか。
である。
領域 3 / Domain 3の中心原則は、
Trust ≠ Reliance ≠ Appropriate Reliance
である。
そして、
Confidence ≠ Accuracy
Explanation ≠ Calibration
Error Detection ≠ Correct Override
Agreement ≠ Independent Validation
を併せて維持する。
Domain 3は、新しいTrust Theoryではない。
Human–AI Interactionにおいて、信頼の高さではなく、利用行動が実際のSystem Capabilityへどの程度適合しているかを監査する領域である。
