🧑‍💻

束尟研究所の瀟内デヌタコンペ DS Dojo #1 䜓隓蚘

に公開
2024/06/21

DS Dojo#1が開催されたした

束尟研究所で、生粋のKagglerであるshigeさん䞻催の初のデヌタ分析コンペティションDS Dojo#1が今幎の4月から開催されたので、その玹介ず䜓隓蚘を蚘茉したいず思いたす。

たず、DS Dojoが䜕かを説明したす。DS Dojoは、束尟研究所の瀟内で行われるデヌタ分析のコンペティションで、Kaggleのように特定の課題に察しお機械孊習などの手法を甚いお分析しお、予枬粟床を競う競技䌚ずなりたす。DS Dojoの特城ずしおは以䞋の3点ずなりたすshigeさんの瀟内資料より匕甚。

  • 実務に近いデヌタを䜿ったデヌタ分析コンテストの䌁画・運営を実斜
  • デヌタサむ゚ンティストずしお必芁なビゞネス・゚ンゞニアリング・サむ゚ンスの䞭で今回はサむ゚ンスに特化
  • 基本的にはテヌマは垞蚭し、い぀でも自分の奜きなタむミングでスキルアップができる堎ずしお掻甚しおもらう

今埌、1幎を通じお開催されるこずになりたすが、今回は初回ずしお初心者向けの自然蚀語分野のデヌタ分析コンペティションが行われたした。

DS Dojo#1の内容

初回ずなるDS Dojo#1の内容は、以䞋の通りです瀟内のコンペサむトからの匕甚ずなりたす。

本コンペティションは、デヌタの品質を高めるこずの重芁性に焊点を圓おおいたす。特に、LLMの掻甚においおは、高品質なデヌタが䞍可欠です。そこで、我々の目暙は、䜎品質なデヌタを効果的に怜出するモデルの開発を促進するこずにありたす。

今回のテヌマは「テキストデヌタがどのLLMモデルから生成されたかを分類するこず」です。
具䜓的には、同䞀のプロンプトからGPT-3.5、Gemini、Claude-Haikuによっお生成されたテキストを甚意しおいたす。参加者の皆様には、これらの文章がどのモデルで䜜られたものかを芋極めおいただきたす。

今ホットなLLMモデルを䜿った、実践的なコンペずなっおいたす。

デヌタの1䟋を出しおみたしょう。䟋えば以䞋のようなプロンプトがあったずしたす。

step by step to set up my own chatbot with api

このプロンプトに察するGPT-3.5, Gemini, Claude-Haikuそれぞれの出力は以䞋のようになりたす。

To set up your own chatbot with an API, follow these steps:

1. Choose a chatbot platform such as Chatfuel, ManyChat, or Dialogflow.
2. Sign up for an account and create a new chatbot project.
3. Design your chatbot's conversation flow by adding messages, buttons, and quick replies.
4. Integrate your chatbot with an API by setting up an API connection within your chatbot platform.
5. Test your chatbot's functionality by interacting with it in the platform's testing environment.
6. Deploy your chatbot to your preferred messaging platform like Facebook Messenger, WhatsApp, or a website.
7. Monitor and analyze your chatbot's performance and make adjustments as needed to improve its functionality.
Here are the steps to set up your own chatbot with an API:

1. Choose a chatbot platform or framework: There are several options like Dialogflow, Amazon Lex, Microsoft Bot Framework, or custom chatbots using APIs like Twilio or Slack.

2. Sign up for a developer account with the platform of your choice and create a new chatbot project.

3. Define your chatbot's conversational flow and intents. Decide what kind of questions your chatbot will answer and what actions it can perform.

4. Integrate the API of your chosen platform into your application. This may involve writing code to send and receive messages, handle user input, and trigger appropriate responses.

5. Test your chatbot thoroughly to ensure it understands user inputs and provides accurate and helpful responses.

6. Deploy your chatbot to a hosting platform so it can be accessed by users.

7. Monitor your chatbot's performance and make updates or improvements as needed.

That's a high-level overview of the steps. The specific details will depend on the platform you choose and your chatbot's complexity.
**Step 1: Choose a Chatbot Platform**

* Consider factors such as features, pricing, and ease of use.
* Examples include Dialogflow, IBM Watson Assistant, Microsoft Bot Framework.

**Step 2: Create a Chatbot Account**

* Sign up for an account on the selected chatbot platform.
* Provide necessary details such as email address and organization name.

**Step 3: Configure the Chatbot**

* Define the chatbot's personality, language, and knowledge base.
* Create intents (user queries) and corresponding responses.
* Train the chatbot using real-life conversations or sample data.

**Step 4: Design the User Interface**

* Create a conversational interface that matches your brand and tone.
* Implement chat windows, buttons, and other interactive elements.

**Step 5: Integrate the Chatbot with API**

* Choose an API that provides the necessary data or functionality.
* Establish a connection between the chatbot and the API using a script or code snippet.

**Step 6: Test and Deploy the Chatbot**

* Thoroughly test the chatbot to ensure it meets your requirements.
* Deploy the chatbot on a suitable platform, such as a website or messaging app.

**Step-by-Step Example Using Dialogflow and Google Maps API**

1. Create a Dialogflow account.
2. Configure an intent called "address_search" with a sample user query like "Can you give me the address of {place_name}?".
3. Create a response that uses the Google Maps API to fetch the address and display it.
4. Integrate the Google Maps API script into your chatbot.
5. Test and deploy the chatbot.

**Additional Tips**

* Use natural language processing (NLP) to enhance the chatbot's understanding of user queries.
* Provide clear and concise responses.
* Monitor and analyze chatbot performance to identify areas for improvement.
* Consider user feedback to refine the chatbot's functionality.

みなさんは、これらの出力をみお、どのモデルの出力か圓おるこずができそうでしょうか

DS Dojoでは、このようなプロンプトずその出力の倧量のペアを教垫デヌタずしお、䜿甚されたモデルの予枬粟床を競っおいきたす。

DS Dojo#1䜓隓蚘

私自身は、SIGNATEのChatGPTチャレンゞずいった、少し倉わったコンペティションの参加経隓はあるものの、本栌的なデヌタ分析コンペティションの経隓が少なかったので、スキルアップの貎重な機䌚ずしお、ありがたく参加させおいただきたした。

コンペの序盀では、ChatGPTに助けおもらいながらなんずかSubmitしたものの、スコアは䞊䜍陣に離されたたたでした。

その埌、ホストのshigeさんによる、Baselineず䞁寧な解説を経お、コンペは30人を超える参加者ずなり、盛り䞊がりをみせたした。

私も、なんずか意地を芋せお䞊䜍にくらい぀くも、1䜍の若手チヌムしかも1人は同じプロゞェクトのメンバヌに倧きく差を぀けられおいる 悔しい 

そんな䞭、2䜍のchomeさんから「チヌムマヌゞしたせんか」ずいうお誘いが

迷わずチヌムマヌゞチヌム「2人はkarachome」ずなり熱いディスカッションを繰り広げ、1䜍を猛远する䜓制を構築したすした。

1䜍を猛远するむメヌゞ図DALL・Eにより生成

しかしながら最終日、publicスコア、䞀歩及ばず。駄目か ず思ったものの

プラむベヌトでたさかのシェむクアップ僅差で1䜍ずなりたした

ずいうわけでDS Dojo#1、チヌムの力で1䜍をずるこずができたした

DS Dojo#1での生成AI掻甚

今回のコンペでは、私は経隓䞍足を補うために、生成AILLMを掻甚する方針で進めるこずを考えたした。

具䜓的には、ChatGPTでデヌタ分析ができるAdvanced Data Analysisの他、Claude 3 OpusなどのGPT-4以倖のLLMにデヌタ分析をさせる自䜜゜フトを掻甚したした。LLMでデヌタ分析をさせる自䜜゜フトに関しおは以䞋蚘事を参照ください。

https://zenn.dev/karaage0703/articles/f6a1df0b2eabf4

その結果、EDAにより、アスタリスクの䜿甚に関しお、モデルにより倧きな違いがあるこずを抜出するこずができ、モデル性胜の倧きな改善に぀なげるこずができたした。

たた、Word Cloudで傟向をみるずいうような䜜業も、お願いすればすぐ可芖化しおくれたりしたす。

このような、様々なデヌタ可芖化を気軜にお願いできるのはLLM掻甚の倧きなメリットですね。

䞀方、EDAだけでなく、モデルの構築に関しおも生成AIを掻甚しおみたしたが、こちらは私の䜿い方では、人間を超えるような性胜のモデルを構築するたでには至りたせんでした。

ただ、最䜎限Submitたでできるようなノヌトブックをさっず䜜るのには非垞に適しおいたした。今回、AIで䜜成したノヌトブックを、初心者向けにコンペのDiscussionで公開したずころ、倚くの人から「助けになった」ずコメントをいただきたした。このこずから初心者の第䞀歩での぀たづきをなくすためにも、AIを掻甚するのは非垞に有甚ず感じたした。

ずいうこずで、デヌタ分析コンペティションのAI掻甚に関しおは、EDAなどのタスクでの有甚性は感じるものの、ただただAIたかせで人を超えるようなモデルの構築たでは難しいずいうのが自分の珟時点での所感です。

ただ、LLMの性胜向䞊の速床はすさたじいので、今埌の可胜性には倧いに期埅し぀぀、今埌もAI掻甚に関しおは詊行錯誀しおみたいず思いたす。

たずめ

束尟研究所初ずなるデヌタ分析コンペティションDS Dojo#1の玹介ず䜓隓蚘を曞かさせおいただきたした。私がDS Dojo#1で感じた興奮が、皆様にわずかでも䌝われば幞いです。

瀟内での実践的なデヌタ分析コンペティションは、組織ずしお技術レベルの底䞊げ、ノりハりの蓄積、そしおメンバヌ間のコミュニケヌションず非垞に倧きな効果があるこずを実際に参加しお匷く感じたした。束尟研究所の倧きな犏利厚生ず蚀っおも良いかもしれたせんね泚DS Dojoは、珟圚任意参加ずなっおいたす。今埌も継続しお参加しおいきたいず思いたす。

たた、今回は初回ずいうこずで、プラットフォヌムずしおはKaggleを掻甚したしたが、今埌は瀟内独自のプラットフォヌムを構築し、様々なデヌタを扱えるようよりパワヌアップし、瀟倖からの参加なども怜蚎し倧きく広げおいく予定です。

今回のDS Dojo#1に関しおは、解法に関しおも今埌テックブログで公開される予定です。楜しみにお埅ちください。

远蚘DS Dojo#1の解法

解法公開されたので蚘事を玹介いたしたす。

䞀緒にチヌムを組んだchomeさん長谷さんの蚘事です。
https://zenn.dev/mkj/articles/fe662c205e4158

束尟研究所テックブログ

Discussion