総務省が8525万円をかけて作らせたGovbot（ガボット）を３時間で作った話
こんにちは、Choimirai Schoolのサンミンです。
0 はじめに
総務省が2024年3月26日に発表した、国・地方共通相談チャットボットの「Govbot（ガボット）」。
国・地方共通相談チャットボット「Govbot（ガボット）」をリリースしました♪暮らしに身近なテーマの質問に、がぼたんが頑張って答えます！困ったときの相談窓口も探せるので、次のURLをクリックして下さい。 #Govbot #がぼたんhttps://t.co/DORX5a5Yh8 pic.twitter.com/35DpouQL6V
— 総務省 (@MIC_JAPAN) March 26, 2024
デジタル庁が発注し、日本電気が２ヶ月かけて作ったチャットボットのようでかかった費用は、なんと8525万円🤯。
GovBotの開発に8525万かかったと聞いて調べたら本当だった🤯！しかも、調達機関はデジタル庁で開発業者は日本電気。デジタル庁ってITに特化した専門組織だと思ってたけど、そうでもない気がしてきた。他の自治体や政府機関の見本となるシステムが開発できる人材をデジタル庁内部で育てるべきだと思う。 https://t.co/a4DH1PrsLN pic.twitter.com/Y0jLKwUU0b
— sangmin.eth @ChoimiraiSchool (@gijigae) March 29, 2024
しかしながら、蓋を開けてみるとガボットからの返答はあまりにもひどすぎると評判。
GovBot（ガボット、https://t.co/nZ8sfz8jFc）を試してみたけどこれは酷い🤔。ホームスクーリングについて教えて、と聞いた時の回答がこちら↓。うまく実装すればAIの能力を拡張できるRAGだけど、間違うとAIの普及率を下げる結果となる。政府関連のチャットボットはオープンソースとして開発すべき🤖！ https://t.co/tnGcstOVGK pic.twitter.com/8XJlrrdQqd
— sangmin.eth @ChoimiraiSchool (@gijigae) March 28, 2024
そこで、オープンソースのDifyを使ってガボットと似たようなチャットボット（ハルキ）を作ってみました。
Difyで作ったチャットボットの名は、ハルキ
1 Dify vs Govbot
ハルキを作るのにかかった時間はわずか３時間。チャットボットはこちらのリンクからアクセスできます。
8525万円をかけて作ったGovbotとぜひ比べてみてください。
2 RAG vs Fine Tuning
SHINOさんが教えてくださったデータを見るとGovbotはFAQデータに基づいてFine-tuningされているように見えます。
SHINOさんが教えてくれたデータを見るとGovBotはRAGより、FAQのデータを使ってファインチューニングさせた模様。同じデータでRAGを実装するとどんなチャットボットになるのかを試している🤖。まずは、子育てのデータから↓。準備が出来次第、チャットボットへのリンクをシェアします😇。 https://t.co/k8p2zLNDis pic.twitter.com/uX5HCqqs1f
— sangmin.eth @ChoimiraiSchool (@gijigae) March 29, 2024
ゆえに、なぜ特定の選択肢が表示されるのかもブラックボックスの状態。このままだとGovbotを改善するのもそう簡単ではない。
おそらくガボットのプロジェクトに参加された方からのポスト↓。
— sangmin.eth @ChoimiraiSchool (@gijigae) March 28, 2024
「何故この選択肢が表示されるか」についてはブラックボックスだと言われました、
とのこと。この話からだとRAGが実装されている模様。Rerankを実装すれば質問に対し、関連性の高い選択肢を表示できるはず。https://t.co/KHMZpPCmC1 pic.twitter.com/O6KxBXKnhV
一方で、ハルキはRAGが実装されています。Embeddingやベクトルデータベースを作る際はCohereのRerankを導入し、質問と関連性が高いデータに基づいて答えを返すように制御しています。
3 モデル選定
Govbotではどのモデルが利用されているのかは明かされてませんが、Fine Tuningが実装されているのであればおそらくGPT-3.5-Turboの可能性が高い。それに対し、ハルキはClaude-3-Haikuを採用しています。
２週間ぶりに @lmsysorg のリーダーボードがアップデートされたけど、とうとうClaude 3 Opusが１位🎊！しかし、一番驚いたのはClaude 3 Haikuが６位にランクインしたこと🤯。ChatGPTの無料版を利用されている方は全員、ClaudeAI（👉https://t.co/EXoxodSejr）を試してほしい。日本語での質問は特に🤖。 https://t.co/5HNgfIR2zd pic.twitter.com/4yfW0KoFGO
— sangmin.eth @ChoimiraiSchool (@gijigae) March 27, 2024
Claude-3-HaikuはGPT-3.5より安いのに、ほぼGPT-4と同じくらいの回答が得られると高い評価を得ています。
4 Dify 101の宣伝
Dify 101は、"Difyの公式アンバサダー"と一緒にDifyの基礎から始め、RAGの実装やクラウドでのデプロイまで体験できるプログラムです。
Difyは今後、動詞のように使われるほど普及されていくと思っています。未来で待っている自分のため、ぜひ。始めるのなら「今」です。
Difyはもはや動詞として使われるとみている。
— sangmin.eth | Dify Ambassador (@gijigae) May 19, 2024
▼Dify（品詞：動詞）
面倒なことを複数のAIやツールを使って解決すること😇
AIの進化で「面倒なことはDifyにやらせよう（Dify it!）」という流れが確実に定着していく。始めるのなら「今」です。#Dify部 https://t.co/kSHmSFQtJY pic.twitter.com/lmcLak6r0l
5 まとめ
ハルキとこちらのnoteが、Govbot（ガボット）の開発に8525万円をかける価値があったのかを真剣に考えるきっかけになれば嬉しいです。
