LLM全盛期のスタートアップでのAIエンジニアのしごと

こんにちは。
IVRyでVP of AI Engineeringをやっている町田です。

今回のお話

今回のブログでは、ここ数年、スタートアップに所属するAIエンジニアとして抱いてきた問いについて、現在の考えをまとめようと思います。
それは「LLMが全盛の今、AIエンジニアの役割はどうかわったのか？」という問いです。
LLMの登場により、世界は、特に私たち開発者の見える景色は一変しました。言語モデルの進化は凄まじく、今やLLMなしのサービス開発は想像できません。
この変化の波を最も大きく受けたのが、私たちAIエンジニアの業務です。かつてAIエンジニアの主戦場であったモデル開発は、多くの企業において、もはや第一選択肢ではなくなりました。「その課題、<LLM> で良くない？」という一言が、多くの議論の結論となります。（<LLM>は各社の強力なサービスを想像してください）
もちろん、オープンなモデルのチューニングや、特定のタスクに特化したモデルを自ら設計し学習させ、サーブすることも技術的には可能です。
しかし、大規模なプロダクションサービスを継続的に成長させるという視点に立った時、それは本当に最善手なのでしょうか。コスト、属人化の排除、メンテナンス性、そして何よりも事業の展開スピード。これら全てを天秤にかけた時、自前でモデルを開発し、ホストし続けることが常に正解とは限りません。特に様々な面でリソースが限られているスタートアップでは悩まされます。

この問いに対し、私たちIVRyは常に「作る」ことと「使う」ことを天秤にかけ、その時々で顧客価値を最大化する選択を重ねてきました。その結果、IVRyはAI関連対話数が100万着電を超え、累計5,000万着電以上・国内業種の97%以上に導入されるサービスへと成長しました。この事実は、少なくともスタートアップにおけるサービス開発の現実解として、私たちの判断が大きくは間違っていなかったことを示していると考えています。

では、AIエンジニアは一体何をしてきたのか。それを振り返ると、LLMという強力なツールを「賢く使いこなし、真の価値を創出する」ために必要な専門性がわかってきました。今回は、その具体的な中身についてお話しします。

AIエンジニアがやってきたこと

1. ビジネス要件に最適なAIシステムアーキテクチャの設計

一つ目は、対話システムの全体設計と開発です。
IVRyの根幹である電話自動応答は、単一のLLM APIを叩くだけでは決して実現できません。いくつかの記事で公開していますが、私たちのシステムは複数の技術要素を組み合わせたモジュール型で構築されています。
この設計には、単なるプログラミング技術以上の、深いAI分野の知識が不可欠でした。
対話技術は、古くはELIZAやSHRDLUから始まったルールベース型システム、言語理解→対話状態追跡→行動選択→言語生成の流れで進むようなモジュール型システム、現在のChatGPTに代表されるEnd-to-End（E2E）の形へと至ります。
一見すると、最新のTransformerベースのE2Eモデルが全てを解決するように見えます。しかし、プロダクション環境の厳しい要求はそれを許しません。例えば、電話応答で数秒の遅延は致命的です。また、特定の業務フローを厳密に遵守させる「制御性」も不可欠です。

• どの部分にLLMの創造性を活かし、どの部分を手堅く実装するか？

• レイテンシを担保するために、どのような工夫が必要か？

• コストと性能のバランスをどう取り、どのモデルをどう呼び出すべきか？

こうした問いに答えるためには、各技術の特性、限界、そしてコスト構造を深く理解していなければなりません。LLMという強力なエンジンを、ビジネスという車のどこに、どのように搭載すれば最高のパフォーマンスを発揮できるのか。このアーキテクチャを描き、実装する能力こそ、LLM時代のAIエンジニアにしかできない、極めて専門性の高い仕事です。AIがコードを書く時代だからこそ、そのAIに「何を書かせるか」を設計する能力の価値は飛躍的に高まっています。

2. 不確実性と評価

二つ目は、システムの「評価」の設計です。
LLMを中心としたシステムがもたらした大きな変化は、出力が「確率的に揺らぐ」ことです。同じ入力に対し、常に同じ出力が返ってくるとは限りません。これは、入力が決まれば出力も一意に決まっていた従来の決定的なシステムとの決定的な違いです。
この不確実性により、システムのリリース可否を判断するプロセスに、「テスト」だけでなく「性能評価」という観点が極めて重要になります。そして、この評価の設計こそ、AIエンジニアの腕の見せ所です。

• ビジネスゴールに対し、どのような技術的評価指標を設定すべきか？

• 評価対象とすべき重要なユーザー事例（エッジケースなど）をどう定義し、収集するか？

• 評価のための正解データは、人間が作成すべきか？あるいは合成データで代替可能か？その品質は誰が担保するのか？

これらの問いに唯一の正解はありません。サービスのドメイン、ユースケース、機能の重要性によって、最適解は常に変化します。この曖昧で複雑な状況の中から、ビジネスの成功に繋がる「ものさし」を作り出すこと。これはAI技術とビジネスの両方を深く理解した人間にしかできないタスクです。
「評価」は、機械学習の研究分野で常に中心的なテーマであり続けてきました。国際会議でLLMの評価手法が盛んに議論されているのも、信頼できる評価なくして技術の進展はないからです。これはビジネスも同じです。曖昧な評価基準で開発を進めるサービスは、いずれ道に迷います。 AIエンジニアは、その道筋を照らす羅針盤を作る、重要な先導役を担っています。

まとめ

LLM時代において、多くの企業におけるAIエンジニアの役割は「モデルの開発」だけではなく「AIソリューションアーキテクト」としての活躍へと進化しているのではないでしょうか。
もちろん、この考え方はサービスの規模や目的、企業のフェーズによって変わる前提です。潤沢な資金と計算資源、そして優秀な研究者がいるならば、自社で最先端モデルを開発することは強力な競争優位性になります。研究開発をしなくてよくなったというような意図は全くありません。むしろ国内のリサーチコミュニティは積極的に応援しています。
しかし、限られたリソースの中でユーザーに最速で価値を届けたいと願う多くのサービス開発企業のアプローチもまた存在します。より遠くへ、より速く到達するために、状況に合わせた新しい活躍のスタイルもあるということです。
また時間が経ったら、この予想がどうなったかを報告できればと思います。

採用情報

そんなIVRyではエンジニアを大募集中です。
AIエンジニアだけでなく、洗練された対話サービスを実装するソフトウェアエンジニアも募集しています。

herp.careers E06. AIエンジニア

株式会社IVRy

募集要項をみる

herp.careers E03. ソフトウェアエンジニア（対話システム）

株式会社IVRy

募集要項をみる

herp.careers O03.カジュアル面談

株式会社IVRy

募集要項をみる

また、この記事を読んで「IVRyのことがちょっと気になる」と思ってくださった方に向けて、IVRyでは以下の2つの方法もご用意しています。
1.キャリア登録（情報収集をご希望の方に）
イベント情報や新しい募集ポジションなどの情報を定期的にお届けします。まずは情報収集から、という方におすすめです。
https://ivry-jp.notion.site/209eea80adae800483a9d6b239281f1b
2.カジュアル面談（まずは話してみたい方に）
IVRyの社員とオンラインでカジュアルに話す場をご用意しています。選考ではございませんので、お気軽にエントリーください。
よろしくお願いします。