社内チャットボットの構築をRAGで受託する前に、決める5つのこと──対象文書、精度の合意、間違えたときの扱い、更新と保守、個人情報

この記事は、社内文書に答えるAIチャットボット（RAG）の構築を受託するときに、着手の前に決めておくことを扱います。

「社内の規程に答えるボットを作ってほしい」と言われたら

「社内規程やマニュアルに答えるチャットボットを、AIで作れませんか」

社内チャットボットの構築を、RAGの仕組みで受託してほしいという相談が、制作会社にも届くようになりました。
試作は、数日で動きます。だからこそ、何も決めずに始めてしまいがちです。

けれど、揉めるのは技術ではありません。
「この質問に答えられないのは不具合ではないか」「古い規程で答えた責任は誰にあるのか」。決めていなかったことが、納品の後に問題になります。

社内チャットボットの受託とは、技術を納めることではなく、答えてよい範囲と、間違えたときの扱いを、お客様と合意して運用に乗せることである

黒字化の外科医です。RAGの受託で、最初に決める5つのことを解剖します。

RAGは、質問に近い社内文書を探し出し、その内容をもとにAIが答えを作る仕組みです。
答えの質は、AIの性能よりも、どの文書を、どの状態で渡すかで決まります。

最初に決めるべき理由は、三つあります。

第一に、精度を「何となく」で合意すると、検収が終わらないから。
AIの答えは、毎回まったく同じとは限りません。何問中何問に正しく答えれば合格か、を数字で決めておかないと、検収の基準がなくなります。

第二に、間違えたときの扱いを決めないと、責任がすべて制作会社に来るから。
AIは、もっともらしい誤りを答えることがあります。誤りをゼロにする約束はできません。誤りが出たときに、誰が、どう直すかを決めておきます。

第三に、文書は更新され続けるから。
規程が改定されれば、ボットの答えも変わらなければなりません。更新の作業は、納品後の保守契約の中心になります。

社内チャットボットの受託で、最初に決める5つのこと

1. 対象文書

どの文書を答えの根拠にするのかを、一覧で決めます。
文書の形式（PDF、表計算、社内のWebページ）、版の新旧、部署ごとの見せてよい範囲も確認します。

2. 期待する精度の合意

「よくある質問」を、お客様と一緒に集めて、正解つきの評価用の質問集を作ります。
合格の基準は、この質問集で測ります。

3. 間違えたときの扱い

画面に「回答はAIが作成したもので、誤りを含むことがあります。重要な判断は原文を確認してください」と表示し、根拠の文書名を必ず示す設計にします。

4. 更新と保守

文書の追加・差し替えを、誰が、どの頻度で行うのか。答えられなかった質問の記録を、誰が見て改善するのか。

5. 個人情報

社員の個人情報や、取引先の情報が文書に含まれていないか。外部のAIサービスに送る場合、そのデータがどう扱われるか。

なお私は弁護士ではありません。実務の指針として読み、個別の判断は専門家や公的な窓口に確認してください。

個人情報保護委員会は、2023年6月2日の「生成AIサービスの利用に関する注意喚起等」で、個人情報を含むプロンプトを入力する場合は、利用目的の範囲内かを十分に確認すること、入力したデータが応答の出力以外の目的（機械学習など）で使われないことを確認することを求めています。お客様の社内でこの確認をしてもらう流れを、提案に入れておきます。

今すぐ試せる：RAG案件の「決めることシート」を作るプロンプト

私はWeb制作会社の経営者です。お客様から、社内文書に答えるAIチャットボット（RAG）の構築を相談されました。着手の前に合意すべきことを、1枚のシートにまとめてください。

【前提】
・お客様の業種と、利用する社員の人数：〔　〕
・答えの根拠にしたい文書（種類、数、更新の頻度）：〔　〕
・想定している質問の例（5つ）：〔　〕
・個人情報や機密情報が含まれる文書の有無：〔　〕

1. 対象文書の一覧と、対象外にする文書を分ける。
2. 正解つきの評価用の質問を、20問の形で作る手順を示す。
3. 合格の基準の案を、2つ（厳しめ・現実的）示す。
4. 誤った答えが出たときの表示文と、報告から修正までの流れを書く。
5. 文書の更新と保守で、お客様側・制作会社側がそれぞれやることを分ける。
6. 個人情報について、お客様に確認してもらう項目を挙げる。

技術の用語は、経営者が読める言葉に言い換えること。

RAG合意工場：検収の基準を数字にする

評価用の質問集の型

番号／質問／正解（根拠の文書名とページ）／分類（答えるべき・答えてはいけない）
1／出張の日当はいくらか／旅費規程 第〇条／答えるべき
2／〇〇さんの住所は／─／答えてはいけない（「お答えできません」が正解）

「答えてはいけない質問」も入れておくのがコツです。答えないことも、精度の一部だからです。

合格の基準の例

評価用の質問：50問（例）
正しく答えた：42問
正答率：42 ÷ 50 ＝ 84%

合格の基準（例）
・答えるべき質問の正答率：80%以上
・答えてはいけない質問に答えた数：0問
・すべての回答に、根拠の文書名が表示されていること

この例なら、正答率84%で、答えてはいけない質問に答えていなければ合格です。
基準は、契約の前に、お客様と文書で合意しておきます。

構造的なリスク

逆説を指摘しておきます。

試作がよく動くほど、お客様の期待は「何でも正しく答えるAI」に膨らみます。
最初のデモの前に、「答えられる範囲」と「誤りが出ること」を先に伝えておかないと、本番で同じ性能でも「期待外れ」と受け取られます。

また、精度の多くは、文書の整理で決まります。古い版と新しい版が混ざった文書を渡されれば、ボットは古い答えを返します。文書の整理を誰がやるかは、見積もりに入れておきます。

よくあるQ&A

Q. 精度は何%を約束すればよいか？

数字を「保証」するのではなく、評価用の質問集で測った「合格の基準」として合意します。基準は案件ごとに、試作の結果を見て決めます。

Q. 小さな会社でも、受託できるのか？

できます。ただし、最初から本開発を受けず、小さな検証から始める形にしてください。見積もりの分け方は、次の記事で扱います。

▶ AIエージェント開発の受託、見積もりを一本で出すと赤字になる──PoCと本開発を分ける、工程別の工数、不確実性の上乗せ、責任範囲

Q. API利用料は、誰が払うのか？

お客様の名義で契約してもらうか、制作会社が立て替えて請求するかを、最初に決めます。請求の方法は、こちらで整理しています。

▶ 生成AIのAPI費用の請求方法、制作会社が立て替え続けないために──実費精算・上限つき定額・月額込みの3つの比べ方と、使いすぎを防ぐ設計

最後に

社内チャットボットの受託で揉めるのは、技術ではなく、決めていなかったことです。

対象文書、合格の基準、間違えたときの扱い、更新の担当、個人情報の確認を、着手の前に1枚で合意した会社だけが、検収で止まらずに、保守契約まで続く案件にできるのです。

社内でAIを使うときのルールは、こちらにまとめています。

▶ 生成AIの社内ルールがない制作会社は、納品物を説明できない──入力禁止の情報、お客様への説明と同意、成果物の確認責任、著作権の基本

これまでの記事は、メンバーシップ「黒字化オペ室」でまとめて読めます。月額1,980円、記事2本分の金額です。詳しくはプロフィールから。

#Web制作会社 #社内チャットボット #RAG #生成AI #AI受託開発 #個人情報 #制作会社経営 #中小企業 #保守契約 #AI活用