IVRyはLLMで加速する

IVRyのAIエンジニアの町田です。
先日プレスリリースを出させていただいた通り、13.1億円の資金調達を達成し、これからIVRyはますます拡大していきます。今回、音声認識やLLMを活用した通話要約など、AIにレバレッジされた新しい電話体験を次々とリリースしています。

これまでのIVRyは最高の自動応答体験を実現するために、あって当たり前の機能を中心に開発してきました。
これからは、こんな体験はしたことがない、もう戻れない、そういう体験を提供することを目指します。
そのためにはNLP(自然言語処理)、中でもChatGPTに代表される大規模言語モデル(LLM)の積極的な活用が必要不可欠だと考えています。
これからの電話DXを本気で加速させるため、IVRyが今の状況をどのように捉えているかをまとめました。

新しいAI時代はもう始まっている

IVRyもゴールドスポンサーとして参加した言語処理学会(NLP2023)でもパネルセッションがあったように、ChatGPTの登場でこれまでのAI(特にNLP)は大きく変わるだろう、ということはアカデミア・産業界の様々な方がコメントしています。
総じて「新しい時代の始まりである」といった内容でした。

私の実感も全くその通りです。年単位で用意してきた機能がたった数行のプロンプトで実現できるようになってしまいました。もちろんハルシネーションや倫理上の課題はまだあるものの、この流れが変わることはなさそうです。AIに仕事が奪われるとは言われていましたが、最初に仕事を奪われたのはAIエンジニアではないでしょうか。
ChatGPTに聞けば大体のことができるようになった今、AIエンジニアが専門的なモデルを時間をかけて作るニーズはほとんどなくなったと確信しています。

※ただ騒ぎ立てているわけではないです。IVRyは真面目にNLPを考えていて、私も以前はAIベンチャーのNLPチームのマネージャーでしたし、@べいえりあをはじめとしたNLPに強い方々にもお手伝いいただいています。表面的なところだけで判断せず、既存技術とのメリット・デメリットを見極めるために議論を重ねており、LLMがすべてを解決するんだとは思っていません。

これからのAI活用で大事になること

そんな新しい時代ですから、特に我々のようなスタートアップでは時間と費用をかけて複雑なモデルを自前で学習するよりも、LLMの効果を何倍にも引き出すことがAI活用の肝になってくるでしょう。
(※小規模の企業にはLLM自体の開発・改善は今は難しそうという前提です)
IVRyでは次の3点が重要になるだろうと考えています。

1. これまでの定石に捉われないAI開発フローを作る

これまでのAI開発の定石は、データを分析し、現場と要件をすり合わせ、アノテーションタスクを設計・実施してデータを集め、自前でモデルを実装し、精度検証を重ね、本番環境にデプロイし更にモデルを改善することでした。これには何ヶ月もかかります。また、それにまつわる開発工数、計算コスト、その全てを見通して予算をたてることも現実的には大事なスキルでした。専門知識が大いに必要ですからAIエンジニア以外にはなかなかできない仕事でした。

しかし、今はどうでしょうか。非エンジニアがちょっとChatGPTに聞いてみよう、で大体のものはできてしまいます。
AI関連のプロジェクトの進め方自体も大きく見直すべきです。
これまでモデル開発部分はAIエンジニアが個別にやっていましたが、今後は早い段階で他チームと一緒に取り組むことができそうです。例えば、先日β版としてリリースした対話要約機能のプロンプトはAIエンジニアだけではなくPdMも一緒に考えました。長文に対処すべきかというところはAIエンジニアが考え、どのような形式で要約されることが望ましいかという点はPdMが調整し、これまでよりも効率よくプロジェクトが進んだ感覚があります。

一方で、モデルの出力を適切に評価したり、既存のモデルとの比較・連携などはAIエンジニアが引き続き担当すべきところです。日々進化する関連技術への理解・情報収集も大切で、新しい立ち回りが求められそうです。
今のところの肌感では、コードを書く役回りから、正しい知識でLLMを制御する役回りが増えるのではないかと感じています。

2. 独自データから価値を引き出す

2023年3月時点ではChatGPTに直接質問することで回答を得る手法が主流ですが、実用上は言語モデル内の知識だけでは足りず、個社のデータ特性に合わせた知識が必要になるはずです。この記事では詳細は省きますが、LlamaIndex(GPT-index)やLangChain等のLLMと外部知識を組み合わせる手法や、またChatGPT自体にもplugin機能が提供され始めたりと、この方向での技術発展はすでに始まっています。
LLMの登場でAI開発の手法は変わりそうではあるものの、独自に持っているデータの価値はますます上がりそうです。

IVRyでは、外部知識を活用することで決められた内容だけを答える自動応答から、様々な情報源をもとに自ら判断して回答する電話応答が実現できるのではないかと考えています。
本当の意味で人間が電話を取らなくてよくなる未来がLLMの登場でみえてきました。

3. アイデアを高速に最後まで形にする

LLMを活用したたくさんのアイデアが出てきていますが、これまでAI開発をしてきて思うことは、モデルは作った後が難しいということです。私も様々なプロジェクトでAIモデルの構築をしてきましたが、本当に難しいのは実際にユーザーの手元まで届け検証するところです。
「便利なものができた」というところから「実際に多くの人に使ってもらえた」までには大きなギャップがあります。

例えばIVRyは先日電話GPTというものをリリースしました。

実はこちらの元になった機能はわずか10分程度で開発したものです。
社内にデモとして公開したところ大きな反響があったので、すぐに広報・マーケ・開発・デザインチームが連動し、半日以内にプレスリリースのデザインと原文・開発レビューが完了しました。
その後、大変多くの利用がありわずか2週間で2万着電弱を記録しました。
面白い、だけで終わらず、機を逃さず現場に出したことでさまざまな広報効果が生まれました。

モデルが高速に開発できるようになった今、最後まで届ける力は非常に重要です。安定したインフラ・高速な開発サイクルはもちろん、それに関する要件定義やデザイン、マーケティングや経営の意思決定、信頼できるセールス、その全てが揃って初めて、LLMを存分に活用できるものと考えています。

新しいAI開発はチームが大事

LLMの登場でAI開発の現場は一変しました。IVRyでも面白いアイデアが毎日出てきて、どんどん形にしています。言うまでもなくLLMの威力はすごいです。

ただ、それを存分に活かすことができるチームは日本にどれくらいあるでしょうか？IVRyはそれができる貴重なチームだと思います。

特に、広い知識と十分な経験を持ったNLPエンジニアを絶賛募集中です。
誰かの要望を実装するのではなく、自分のアイデアを世に届けることができるチームです。ご興味がある方はぜひ一度ご連絡ください！