W&B Weave, W&B Skills, ARIAを用いたAIエージェントのコスト最適化

はじめに

AIエージェントを構築するうえで、コスト削減は多くのエンジニアが気になる課題です。モデルの選択、思考量の調整、プロンプトキャッシュ、入力やツールの扱いの見直しなど、コストを下げる方法はさまざまです。
ただし、コスト最適化には精度とのトレードオフがあります。安価なモデルへの切り替えや思考量の削減によって、必要な判断精度が損なわれることもあります。そのため、費用だけを見るのではなく、同じ評価条件で精度を確認しながら最適化を進める必要があります。
W&B Weaveは、その比較に使えるEvaluation機能を提供しています。さまざまなシナリオに対してエージェントを評価し、精度とコストの両方を記録・管理することで、どの構成が必要な精度を満たしながらコストを抑えられるかを比較できます。

本Reportでは、Anthropic「Cost Optimization on the Claude API」に沿って、自動車保険の請求審査を行うClaudeエージェントに複数のコスト削減手法を適用します。18構成の精度とコストをWeave Evaluationで比較し、最適な設定を選択する流れを紹介します。

問題設定

架空のAcme Insuranceの自動車保険について、エージェントが請求情報、契約、過去の請求履歴、不正兆候を調べ、承認（APPROVE）、否認（DENY）、上席への照会（SUPERVISOR）、不正調査部門への照会（FRAUD）のいずれかを選びます。保険判断そのものを実運用する実験ではなく、cookbookの架空データで構成間の差を測ります。
難しさは、事故概要だけで判断できない点にあります。契約の除外事項、履歴、マニュアルの照会条件を合わせて最終判定を選ぶ必要があります。最適化の条件は、この最終判定の正解率を保つこととしました。
基準構成はOpus 5・effort=high・cacheなしです。約12Kトークンのマニュアル全文をsystem promptに入れ、8つの調査ツールと4つの最終判定ツールを使います。effortはモデルの思考量を調整する設定です。

検証パターン

今回検証したのは、次の18構成です。

• 設定00：基準構成です。Opus 5・effort=highを使い、キャッシュを無効にします。

• 設定01：Opus 5・effort=highに自動キャッシュを有効化します。

• 設定02：Opus 5・effort=mediumと自動キャッシュを組み合わせます。

• 設定03：Opus 5・effort=lowと自動キャッシュを組み合わせます。

• 設定04：Sonnet 5・effort=highと自動キャッシュを組み合わせます。

• 設定05：Sonnet 5・effort=mediumと自動キャッシュを組み合わせます。設定11〜16の比較元となる構成です。

• 設定06：Sonnet 5・effort=lowと自動キャッシュを組み合わせます。

• 設定07：Haiku 4.5と自動キャッシュを組み合わせます。思考機能とeffortの指定は使いません。

• 設定08：設定06に、Opus 5へ助言を求めるツールを追加します。Sonnet 5・effort=lowが必要に応じて相談します。

• 設定09：設定07に、Opus 5へ助言を求めるツールを追加します。Haiku 4.5が必要に応じて相談します。

• 設定10：5つのHaiku 4.5サブエージェントが情報を収集し、Sonnet 5・effort=mediumが要点をまとめたルールに基づいて最終判定を行います。

• 設定11：設定05に、共通マニュアルを含むsystemの明示的なキャッシュ境界を追加します。

• 設定12：設定05のsystemからマニュアル全文を外し、必要に応じてread_manualツールで参照する構成に変更します。

• 設定13：設定05にTool searchを導入し、一部のツール定義を必要になった時点で読み込む構成に変更します。

• 設定14：設定05にCode executionツールを追加します。

• 設定15：設定05にContext editingを設定し、指定条件に達した際に過去の思考やツール利用のコンテキストを整理する構成にします。

• 設定16：設定05にCompactionを設定し、指定条件に達した際にコンテキストを要約・圧縮する構成にします。

• 設定17：設定11を基に、請求ごとの必要情報を事前収集し、Sonnet 5・effort=mediumが1回のリクエストで判定する構成へ変更して、Batch APIで一括処理します。

評価設定

結果をWeave Evalsを用いて、上記のパターンそれぞれに対して評価を実行しました。
人手の正解ラベル付き10件を各2回実行し、1構成あたり20判定を比較します。正解ラベルの内訳は承認3件、否認2件、上席照会2件、不正調査照会3件です。
精度は、最終判定と正解ラベルの一致率です。Weaveのverdict_scorer.correct.true_fraction × 100を点数とします。100点は20/20判定が一致したことを意味します。
各試行はcold(cacheなし)で始めます。cacheを使う通常構成は同一試行の10件を逐次実行してcacheを共有します。基準の00はcacheなし、17はBatchで一括送信します。

Evaluation結果

Weave Evaluationに並ぶ全18構成の評価結果です。true_countは20判定中の正解数、true_fractionは正解率、Costは20判定の合計USDです。

18構成を同じ評価条件で比較すると、精度100点を達成したのは5構成でした。コストを下げられた構成が、そのまま必要な精度を満たすとは限りません。精度の条件を満たす候補に絞ったうえで、CostとLatencyを比較することが重要になります。
今回の評価で100点を維持した最小コスト構成は、Sonnet 5・effort=mediumにsystemの明示的キャッシュ境界を加えた構成でした。20判定の合計Costは0.4699 USDで、基準構成の5.7284 USDから91.8%削減しました。平均Latencyも25.93秒から11.46秒へ短縮しました。

精度100点だった5構成のWeave比較画面では、correct・Cost・Latencyの3項目を表示しています。Costは20判定分の合計USD、Latencyは1判定あたりの平均秒数です。レーダーチャートと各指標の実数値を合わせて比較できます。

こうした比較分析を行うことで、最適なコスト削減戦略を特定することができます。

以下、さらに分析をしていきます。

W&B SkillsでCoding Agent or ARIAに詳細分析をさせる

W&B Skillsを用いると、Coding Agentを用いてW&Bプロジェクトの結果を分析することができます。たとえば、対象プロジェクトを指定して、次のように依頼し、詳細な分析をすることができます。

この依頼に沿って、W&B Skillsを使い、設定11のEvaluationと設定5のEvaluationの保存済みの精度、モデル設定、トークン使用量、Cost内訳を2026年10月1日に確認しました。以下は、その分析結果です。

このように、Coding AgentにEvaluationを指定して分析させると、合計金額の比較から一歩進み、どのCost項目が変わり、その変化が設定とどう対応するかを整理できます。

また、Coding Agentを使わずとも、W&B UI上で分析をすることも可能にするため、W&B ARIA（AI Research and Iteration Agent）をリリースしました。

ARIAは、W&Bの画面に組み込まれたAIリサーチエージェントです。自然言語で依頼すると、実験や評価結果の分析、結果の説明、構成間の傾向の把握、次の検証の提案、可視化やReportの作成を支援します。プロジェクト画面の「Ask ARIA」から利用できます。なお、W&B ARIAは2026年10月時点でMulti-tenant SaaS のみで利用可能です。

以下に、実際にARIAを利用した画面のスクリーンショットを掲載しています。評価結果を参照しながら自然言語で質問し、分析内容を確認する流れが分かります。

まとめ

コスト最適化に向けては、精度とコストの両方を確認していく必要がありますが、W&B Weaveを利用するとその両方を同時に確認することができます。また、深掘りが必要になった際の情報も全てW&B Weaveの中にあり、Coding AgentやW&Bが提供するエージェントARIAを用いて分析することも可能です。
W&B Weaveを利用しながら、コスト最適をチームで・早いサイクルで進めていきましょう。

採用情報

W&B Japanでは2つのポジションを現在Openにしています。ご関心がある方は、W&B鎌田 (kkamata@coreweave.com) までご連絡ください。

Senior Account Solutions Architecture

Technical Support Engineer II