もしAI素人が「明日からAIエージェント作ってくれ」と言われたら

IVRyでAIエンジニアとして働いているMoriyaです。
本記事は、IVRy Advent Calender 2025「IVRy AIブログリレー Part2」1日目の記事です。

導入

世はAIエージェント時代。OpenAI、Googleをはじめとした様々な企業が、エージェントに関するプロダクトを相次いで発表しています。
もしかしたら、あなたの会社でも、「AIエージェントを作って」という大号令がかかるかもしれません。しかし、「何から始めればいいのか？」と途方に暮れる方もいるでしょう。
そんな時に、どのようにプロジェクトを進めて、AIエージェントを開発していくべきかを、IVRyでのプロダクト開発を振り返りながら言語化してみました。

1. 「現状のプロセス」を言語化する

AIエージェント開発を成功させる最初の鍵は、「何を実現したいのか？」を定義することです。しかし、「何を実現したいか？」が漠然としすぎている場合、「今の人間が何をしているのか？」から考えるのが最も確実です。
そのような場合、以下のステップが有効です。

• 現状の業務プロセスを棚卸し、言語化する: AIエージェントを導入したい領域について、現状の業務フロー（インプット、タスク、アウトプット）を詳細に書き出す。

• 「人間の行動」を観察・定義する: その業務において、人間が具体的にどのような思考や判断、アクションを行っているのかを言語化する。

• 非効率な部分を特定する: 時間がかかっている、ミスが発生しやすい、ルーティン化しているなど、「AIが使えそうな箇所」を見極める。

2025年末の現在、LLMがいかに優秀だとしても、無から新しいことを成し遂げることは出来ません。そのため、「何をやらせたいのか？」を整理する必要があります。明確な要件定義をすることが大事です。

2. 「AIの必要性」と「任せる範囲」を考える

「必要なものは、AIエージェントではなくて、ただのプログラムで十分だった」という可能性もあります。なので、AIに何をしてもらいたいのかを考える必要があります。
AIにやらせるべきタスクは、不確実性を伴うタスク群です。

「AIにどこまで任せたいのか？」も言語化しましょう。
AIに任せるタスクが簡単であれば、AIに丸投げしても問題ないでしょう。一方で、大事な仕事をすべてAIに丸投げした結果、大事故につながる可能性があります。
そのため、タスクの明確さと失敗時の影響度（重要度）によって、AIに任せる範囲を言語化する必要があります。

3. 評価基準（ゴール）を設定する

AI開発は「評価こそが全て」と言っても過言ではありません。AIエージェントが「正しく動いている」状態を誰もが共通認識できるために、評価基準を先に作るステップが不可欠です。

• 定量的・定性的な評価指標を設定する: カスタマーサポートエージェントの場合

  • オフライン評価（リリース前テスト）

    • 主に技術的な実現可能性や基礎性能を測ります。

    • 定量的指標: テストデータセットに対する正答率（80%以上）、システムとしての平均応答時間（5秒以内）など。

  • オンライン評価（実運用モニタリング）

    • 実際のビジネスインパクトやユーザー体験を測ります。

    • 定量的指標: 実際の問い合わせ解決率（70%以上）、エスカレーション率の低下など。

    • 定性的指標: ユーザー満足度スコア（5点満点中4.0以上）、実際の回答におけるトーン＆マナーの適切さなど。

「誰にとっての成功なのか？」を明確にした上で、エージェントが達成すべき具体的なゴールを定義しましょう。

4. 「AIに任せるタスク」を細分化して、実装する

「AIに任せるタスク」は、なるべく細分化するようにしましょう。
基本的には、１つの曖昧な仕事をAIにやらせるより、細かいステップに分けて、AIにやらせた方が正確に動いてくれる確率が上がります。
自分の仕事を他の人にお願いするとしたら、どういう手順書を書けばミス無く実行してくれるか？という意識を持つと良いと思います。
実際、IVRyにおいても、タスクを細分化することを意識しています。詳しくはこちらのスライドにまとまっています。

細分化することができたら、分割した粒度のタスクをやらせるための実装を行いましょう。
AIエージェントを実装するためのフレームワークが揃っているので、以下のようなフレームワークを使うと良いと思います。

• Google ADK

• OpenAI Agent SDK

• Claude Agent SDK

5. 評価基準に基づいて、試行錯誤を繰り返す

実装が終わったら、実際に動かしてみましょう。思ったように動かないことがあると思います。
そうしたら、フィードバックと評価基準に基づいて、改善サイクルを回していきましょう。

• デバッグのコツ: ステップ4で作った、「最小粒度のタスクがちゃんと動いているか？」という点を確認することが、問題の切り分けにおいて非常に重要です。

• 改善サイクル: 評価 → 問題特定 → タスク分割の見直し → プロンプト修正 → 再評価

なお、IVRyでも、評価基準に基づくイテレーションを重視しています。この仕組みを構築することが非常に重要です。

最後に

IVRyでは、イベントや最新ニュース、募集ポジションなどの情報をお届けするカジュアルなつながり「キャリア登録」をご用意しています。IVRyに少しでもご興味をお持ちいただいた方は、以下のURLよりぜひご登録ください。

herp.careers O03.カジュアル面談

株式会社IVRy

募集要項をみる

また、IVRyではAdvent Calendarをもう1レーン走らせています。本日は、Ebiharaさんの「五年ぶりに開発プロジェクトを回してみて得られた実感」が公開される予定です！ぜひご覧ください。

また、IVRyのysdytが中心となって、三田・田町周辺企業有志で運営するデータ・AI系の勉強会兼交流会です。AIエージェントに関する登壇会も用意したいと思っておりますので、興味がある方は、ysdytか私までご連絡ください。