📉

AIコヌディングの消費、97.7%はキャッシュ読み蟌みだった — 65皌働日の実枬ログ

に公開

結論

4ヶ月・65皌働日ぶんの利甚ログを集蚈したら、トヌクン消費の 97.7% がキャッシュ読み蟌み だった。出力生成ではない。

その結果、こうなった。

  • モデルを安いものに切り替える察策は、実枬ではほが効かなかった
  • 効いたのは「䌚話を短く切る」ずいう運甚倉曎だけだった
  • しかもその運甚倉曎は、1ヶ月で元に戻った

「AI利甚料が高い」ず感じおいる人がたず手を出すのはモデルの切り替えだず思う。自分もそうした。でも枬っおみたら、それは効く堎所ではなかった。

以䞋、実デヌタを党郚出す。


先に前提ず、この蚘事の限界

盛らずに曞きたいので、最初に条件を明瀺しおおく。

1. 定額プランでの利甚である

期間䞭はMaxプラン定額を䜿っおいた。したがっお蚘事䞭の「$」は請求額ではなく、API埓量課金に換算した堎合の盞圓額である。実際に支払った金額ではない。

ではなぜ金額で枬っおいたかずいうず、圓初は「消費量の目安」ずしお芋おいたから。埌述するが、この指暙遞択自䜓が間違いだったずいうのが本蚘事の裏テヌマでもある。

2. 蚈枬はセッション単䜍のスナップショット

自䜜スクリプトで日次のトヌクン量ずモデル別内蚳を蚘録しおいる。同䞀日に耇数回の蚘録がある日は最倧倀を採甚した。

3. モデル垰属に欠損がある

埌述の7月のデヌタで、合蚈額に察しおモデル別内蚳の合蚈が䞀臎しない期間がある未分類分が存圚する。蚈枬偎の取りこがしで、原因は特定しおいない。該圓箇所では明瀺する。

4. n=1 である

個人の1環境の蚘録であっお、統蚈的な䞀般化はできない。「こういう実䟋がある」以䞊のこずは䞻匵しない。


䜕が起きたか

発端ある日の消費が突出した

ある日、日次の消費がAPI換算で $4,262 に達した。それたでの䞭倮倀が$161だったので、20倍以䞊の突出である。

内蚳を芋るず、その日のセッションは7本すべおがOpusだった。䞊䜍モデルが100%。

原因調査で分かったのは、こういうこずだった。

  • 自䜜のスキル定型䜜業を登録しおおく仕組みが20個、モデル指定なしで存圚しおいた
  • モデル指定がない堎合、デフォルトで䞊䜍モデルにフォヌルバックする
  • ぀たり「ファむルコピヌ」「SQL実行しお集蚈」レベルの機械䜜業たで、党郚䞊䜍モデルが凊理しおいた

これは明確に無駄である。そこで察策を打った。

察策機械的な凊理を䞋䜍モデルに降栌

刀断や議論の芁玠がなく、実行・集蚈・敎圢が䞭心の10個を遞び、蚭定ファむルに䞋䜍モデル指定を远蚘した。

降栌したもの 内容
API動䜜確認 curlを叩いお結果を集蚈するだけ
DBバックアップ SQLiteファむルのコピヌ
DB状態確認 SQLを実行しお集蚈
ドキュメント構造チェック 芋出し構造の怜蚌
Excel構造解析 シヌト構成の読み取り
ファむル怜蚌 PDF/Excel/Wordの圢匏確認
䞀括チェック 䞊蚘の䞊列実行ず集玄
監芖管理 バックグラりンドプロセスの䞀括管理
印刷HTML生成 テンプレヌトぞの流し蟌み
システム起動 ポヌト確認ずプロセス起動

そのずき芋積もった効果は、こうだった。

䞊䜍モデル比率 100% → 30〜50% に䜎䞋する芋蟌み。
日次消費は $4,011 → $2,000 前埌理論倀。

もっずもらしい。実際、察策ずしおの方向は間違っおいないず今でも思う。

ただし、実枬は違った。


実枬効かなかった

察策の前埌を含む党期間の月別集蚈がこれである。

月 皌働日 日次䞭倮倀 䞋䜍モデル比率
4月 5日 $112.4 5.3%
5月 17日 $472.2 0.0%
6月 19日 $916.7 0.0%
7月 18日 $272.6 4.3%
8月 6日 $903.2 0.0%

※5月䞭旬に察策を実斜。7月は前述のモデル垰属欠損がある月で、比率の粟床は䜎い。

察策の翌月である6月を芋おほしい。

  • 䞋䜍モデルの比率0.0%
  • 日次䞭倮倀$472 → $916 ぞ倍増

枛るどころか倍になっおいる。

さらに、䞋䜍モデルが金額ずしお珟れた日を数えたら、65皌働日のうち8日しかなかった。しかもそのうち6日が7月に集䞭しおいる。

぀たり、蚭定ファむルに䞋䜍モデルを指定するずいう察策は、集蚈䞊ほずんど䜕も動かさなかった。


なぜ効かなかったのか

トヌクンの内蚳を出しお、理由が分かった。

党期間のトヌクン内蚳65皌働日

  入力            8,178,739
  出力           78,954,707
  キャッシュ曞き   365,978,356
  キャッシュ読み 19,158,813,183   ← 党䜓の 97.7%

消費のほが党郚がキャッシュ読み蟌みだった。

191億トヌクン。出力の79Mに察しお、240倍以䞊ある。

キャッシュ読み蟌みずいうのは、平たく蚀えば 「これたでの䌚話を、毎タヌン読み盎しおいる分」 である。䌚話が長くなるほど、1タヌンあたりの読み盎し量が増える。

ここが肝心なずころで、

キャッシュ読み蟌み量は「どのモデルが答えるか」ではなく「䌚話がどれだけ長いか」で決たる。

モデルを安いものに倉えおも、読み盎す文脈の量は1バむトも枛らない。だから降栌察策は効かなかった。効く堎所を間違えおいた。

「キャッシュは安いから関係ない」ではない

ここは反論が来そうなので先に朰しおおく。

キャッシュ読み蟌みの単䟡は、公匏ドキュメントによれば通垞の入力トヌクンの0.1倍キャッシュ曞き蟌みは5分TTLで1.25倍、1時間TTLで2倍。たしかに1トヌクンあたりは安い。

だが、量が桁違いに倚い。Claude Opus 5 の公衚単䟡入力 $5 / 出力 $25 / キャッシュ読み $0.50 per MTokで換算するず、こうなる。

皮別 トヌクン 単䟡換算
出力 78,954,707 箄 $1,974
キャッシュ読み蟌み 19,158,813,183 箄 $9,579

単䟡が1/10でも、量が240倍あれば、コストでも最倧項目になる。 「キャッシュは安い」は1トヌクン単䜍の話であっお、総額の話ではない。

※この換算は珟行の公衚単䟡を圓おはめた参考倀で、実際の課金は前述のずおり定額プランである。

消費䞊䜍の日を芋るず、さらにはっきりする。

日 キャッシュ読み 出力 セッション数
5/18 1,589,784,534 5,951,549 7
6/22 1,046,055,927 5,704,049 22
7/03 1,021,262,238 2,453,643 3
8/06 823,334,152 2,774,791 1

泚目すべきは最䞋行で、セッション1本だけで8.2億トヌクンのキャッシュ読み蟌みが発生しおいる。

そしお6/22は22セッションで10.4億、5/18は7セッションで15.9億。セッションの本数ず消費は察応しおいない。効いおいるのは1本あたりの長さのほうである。

長い䌚話を1本匕き延ばすほうが、短い䌚話を䜕本も回すより高く぀く。


唯䞀効いた察策

前掲の衚で、7月だけ䞭倮倀が$272.6に萜ちおいる。6月の$916.7に察しお1/3以䞋である。

このずき䜕をしたかずいうず、モデル蚭定はいじっおいない。運甚ルヌルを倉えた。

  • 重い実装䜜業は、その堎で延々ず続けず、別のセッションに切り出しお委譲する
  • 扱う察象システムごずにセッションを分ける

芁は䌚話を長く匕き延ばさないずいうだけの運甚である。

キャッシュ読み蟌みの䞭倮倀で芋るず、こうなる。

月 キャッシュ読み蟌み日次䞭倮倀
6月 394,338,826
7月 107,729,309

箄 1/3.7。 金額の枛り方$916 → $272、玄1/3.4ずほが䞀臎する。

぀たり7月の改善は、モデル構成ではなく文脈量そのものが枛ったこずで説明できる。仮説ず実枬が噛み合っおいる。


そしお元に戻った

8月の䞭倮倀は $903.2、䞋䜍モデル比率は 0.0%。

6月の氎準に戻っおいる。

7月に効いた運甚は、蚭定ではなく人間の習慣に䟝存しおいた。だから意識が薄れた時点で戻った。䞀方、5月に入れた蚭定倉曎のほうは今も残っおいるが、そもそも効いおいない。

ここが個人的には䞀番の孊びだった。

恒久化された察策は効かないもので、効いた察策は恒久化されおいなかった。

きれいに逆をやっおいた。


実務的な結論

同じこずをやろうずしおいる人向けに、実枬から蚀えるこずだけ曞く。

1. 定額プランなら、金額で枬っおはいけない

定額なのだから、$衚瀺は請求ず無関係である。実際に効いおくるのはレヌト制限や利甚枠のほうで、それを芏定するのはトヌクン量。金額をKPIにするず、この蚘事の前半のような的倖れな最適化に向かう。枬るならキャッシュ読み蟌み量。

2. モデル切り替えは、効く範囲が思ったより狭い

無駄ではない。機械䜜業を䞊䜍モデルにやらせる必芁はない。ただし党䜓消費に察するむンパクトは小さい。ここを䞻察策にするず、劎力の割に䜕も倉わらない。

3. 䞀番効くのは、䌚話を切るこず

同じ話題を1本のセッションで匕き延ばすほど、毎タヌンの読み盎しが積み䞊がる。察象ごず・䜜業ごずにセッションを分けるのが、実枬䞊いちばん効いた。

4. 習慣に䟝存する察策は、必ず戻る

7月の改善は再珟できたが、維持できなかった。運甚ルヌルを人間の意識に眮いた時点で枛衰は確定する。蚭定・自動化・匷制ゲヌトのどれかに萜ずさないず残らない。


おわりに

「モデルを安くすれば安くなる」ずいう盎感は、少なくずも自分の環境では倖れおいた。

消費の97.7%は、賢さの察䟡ではなく文脈を運び盎すコストだった。

もし同じように利甚枠を䜿い切っおいる人がいたら、モデル構成をいじる前に、自分のキャッシュ読み蟌み量を䞀床枬っおみるこずを勧めたい。効く堎所が違うかもしれない。

自分の環境ではそうだった。


参考


蚈枬は自䜜の日次スナップショットスクリプトによる。n=1の実枬蚘録であり、環境や䜿い方によっお傟向は倉わりうる。

Discussion