AIが間違えたら、誰に言えばいいのか―行政に必要な異議申立てと監査

行政の窓口で納得できない判断を受けたとき、私たちは理由を尋ねることができます。担当者の説明に疑問があれば、上司への確認や再検討を求めることもあるでしょう。では、その判断にAIやアルゴリズムが関わっていた場合、「なぜこの結果になったのですか」という問いに、行政はどこまで答えられるのでしょうか。

前回、自治体では企業以上に慎重なアルゴリズム利用が必要だと書きました。住民は福祉や税、子育て、教育などの行政サービスを簡単に「退会」できないからです。だから今回考えたいのは、AIを使ってよいか悪いかではなく、AIが間違えたときに住民がどうやって判断をやり直してもらえるのか、という問題です。

ここで大切なのが「人間が最終判断します」という説明です。一見すると安心できますが、それだけでは十分ではありません。システムが毎日100件の案件を「優先」「通常」「低リスク」と振り分け、職員がその結果を確認する仕事を続けていれば、いつの間にか確認が追認に変わる可能性があります。

人間が画面の前に座っていることと、人間が判断していることは同じではありません。
アルゴリズムの結論を覆す権限があり、そのために必要な情報を確認でき、異なる判断をしても不利益を受けない。そこまで整って初めて、「人間が関与している」と言えるのではないでしょうか。

海外には参考になる仕組みがあります。カナダ政府の「自動意思決定に関する指令」では、行政判断を行う、または支援する自動化システムについて、導入前にAlgorithmic Impact Assessmentを実施し、その結果を公開することを求めています。
さらに、一定の場合には判断理由の説明、人間の関与、適切な専門家によるレビューを求め、行政判断に異議を唱える手段についても、迅速で実効的かつ利用しやすいものとするよう定めています。

英国にも興味深い制度があります。Algorithmic Transparency Recording Standardでは、公共部門がどのようなアルゴリズムを、何の目的で、どのような行政判断に利用しているのかを記録し、公表します。現在は中央政府の一定の組織について、国民に大きな影響を与える意思決定や、国民と直接やり取りするアルゴリズムで記録が義務化されています。

ここで注目したいのは、「AIの中身を全部公開する」という発想ではないことです。技術的なソースコードを公開されても、多くの住民には判断理由が分かりません。必要なのは、何のために使い、どんな情報が判断に影響し、誰が責任を持ち、間違っていた場合にどうやって再審査を求められるのかが、人間の言葉で分かることです。

日本でも2026年6月、デジタル庁が政府の生成AI調達・利活用ガイドラインを第2.0版へ改定しました。高リスク判定シート、調達チェックシート、契約チェックシートなどが用意され、生成AIの利用促進とリスク管理を同時に進める仕組みが整えられています。政府のAI利用が「とりあえず使ってみる」という段階から、調達や管理まで含むガバナンスへ進んでいることは重要な変化です。

その次に地方自治体で考えたいのが、住民側から見た制度です。もちろん、日本には行政不服審査法をはじめ、行政判断に対する既存の不服申立て制度があります。
問題は、その仕組みだけでAIやアルゴリズムが関与した判断への救済が十分に機能するかということです。

どこでアルゴリズムが使われ、どの情報が判断に影響し、職員がその結果をどこまで覆せるのかが分からなければ、形式上は異議を申し立てられても、実質的な再審査につながらない可能性があります。必要なのは、新しい制度を一から増やすことより、既存の救済制度にAI利用を前提とした説明、記録、人間による再検討を組み込むことだと思います。

ここからは私の提案ですが、自治体が住民への給付、選別、優先順位付け、リスク判定などにアルゴリズムを利用する場合、少なくとも利用している事実、利用目的、判断への影響、人間による再審査の窓口を明らかにする仕組みが必要です。住民自身が、どこに問い、誰が判断をやり直すのかを分かる状態にしておく必要があります。

さらに、導入前だけでなく、利用開始後の監査も欠かせません。仮に導入時に95％の精度があったとしても、人口構成や制度、利用者の行動が変われば結果も変わります。全体の正答率だけを見るのではなく、特定の年代、地域、世帯構成などで誤判定が偏っていないかを定期的に確かめる必要があります。

ベンダーとの契約も重要です。自治体が外部企業のシステムを使う場合、「企業秘密なので判断過程は説明できません」では住民への説明責任を果たせません。監査に必要な情報へのアクセス、システム変更時の通知、判断に用いた記録の保存、問題発生時の検証方法などを、導入後ではなく調達契約の段階で決めておく必要があります。

行政でアルゴリズムを使うとき、最も避けたいのは責任の空白です。職員は「システムが出した結果です」と言い、開発会社は「最終判断は自治体です」と答える。その間で、住民だけが理由を知らされない状態をつくってはいけません。

AIが間違わない制度をつくることはできません。人間も間違えるからです。だから制度設計の目標は、間違いをゼロにすることではなく、間違ったときに発見でき、説明でき、やり直せることに置くべきです。

行政のデジタル化で守るべきなのは、人間がすべて判断する社会ではありません。機械が判断に加わっても、住民が「なぜですか」と尋ねられ、「もう一度見てください」と言える行政です。その二つが残っているかどうかが、便利な行政と信頼できる行政を分ける境界線になるのだと思います。