「マドレス」と「一般向け生成AI」の違い――手続き案内に特化したマドレスは、ハルシネーションをどう制御するのか？

株式会社オプロは、手続き業務に特化したAIエージェント基盤「マドレス」をリリースしました。
サービスの全体像は、リリース記事でご紹介しています。

手続き特化AIエージェントと聞くと、「手続きの案内なら、一般向けの生成AI（汎用AI）でも答えられるのでは」と思われるかもしれません。
しかしながら、汎用AIの性質が手続きの案内という領域においては弱点になってしまうことがあります。
本日は、手続き案内における汎用AIの弱点と、それを克服するマドレスの考え方についてご説明します。

手続きの案内で汎用AIが抱える課題

汎用AIは、学習した幅広い知識から文章を組み立てます。質問をすれば、たいていは何かしらの答えが返ってきます。知らないことを「わかりません」と返すのは苦手で、もっともらしい誤り（ハルシネーション）が混ざることがあります。

たとえば、「引っ越してきたので、必要な手続きを教えてください」と汎用AIに尋ねると、転入届や国民健康保険など、一般的な手続きを整理した回答が返ってきます。
ところが、その自治体で使う書類の様式や受付の窓口、独自の制度までは、AIには分かりません。金融機関でも同様に、保険の請求に必要な書類が商品や約款ごとに異なる場合があります。

汎用AIは、分からない部分も一般的な情報から推測して、それらしく書いてしまうことがあります。利用者は、その回答が正しいかどうかを自分で見分けられないまま、窓口に向かうことになります。

手続きの案内は、この性質と相性が悪い領域です。必要書類、提出先、期限は自治体や金融機関ごと、商品ごとに異なり、制度は改正されます。一般的な知識で補った回答が、その組織の実際のルールと食い違うことは十分にあり得ます。

もうひとつ、手続きのすべてをシステムで判定できるわけではありません。個別の事情によっては、職員の判断が必要になります。
分からないことを分からないと伝え、人につなぐ。この動作が、案内の品質を左右します。

マドレスの考え方：AIの回答を、組織の案内として出せるようにする

マドレスは、AIの回答がそのまま組織の案内として利用者に届くことを前提に作っています。
そのため、AIが何を答えるかだけでなく、何を答えないか、誰が責任を持って管理するかまで含めて設計しました。

組織が決めた範囲でのみ回答

マドレスは、組織が登録し、承認した資料だけを根拠に回答します。根拠が見つからない質問には、AIの一般知識で補わず、「回答できない」と返して窓口や電話へ案内します。手続きの案内では、答えを出すことと同じくらい、答えを出さない判断が大切だと考えているためです。相談の段階で扱う個人情報も、手続きの特定に必要な範囲にとどめ、本人確認などは認証された申請画面で行います。

根拠を示し、分からないことは人につなぐ

マドレスの回答には、根拠となった資料名が添えられます。利用者は案内の出どころを確かめられ、答えられない相談は職員へ引き継がれます。
AIですべてを完結させるのではなく、人が対応すべき相談は人に渡す。手続きの案内においてこの線引きは欠かせないものと考え、徹底しています。

資料・回答を管理し続けられる

制度や様式は改正されます。マドレスでは、組織が資料を版ごとに承認し、AIは承認済みの最新版だけを参照します。公開前には想定質問でテストし、回答や設定の変更は履歴として残ります。AIの案内を、組織が責任を持って管理・更新し続けられる仕組みになっています。

まとめ

手続きを案内するAIには、正しく答える力と同じくらい、答える範囲を限り、根拠を示し、分からないことを人につなぐ設計が求められます。
マドレスは、登録・承認した資料だけを根拠にする仕組みと、公開前のテスト、変更履歴の記録によって、その運用を組織の側で管理できるようにしています。

マドレスにご関心のある自治体・官公庁、金融機関の方は、お気軽にお問い合わせください。

お問い合わせはこちら：https://service.opro.net/madoless/contact

マドレス 公式サイト：https://service.opro.net/madoless