「トークン消費量が多い = AI活用できている」と言える？効果測定や指標を決めることの難しさ

Claude CodeやCodexのトークン消費量を根拠にして、「これだけAI活用をしている」と話している人を見かけます。

「Maxプランを使い切ってしまった」
「これだけ大量に動かしている」
「アカウントを複数契約している」

もしかすると、トークン消費量や利用量をもとに、社員のAI活用度を評価している会社もあるのかもしれません。

しかし、本当にAIを活用できているかどうかは、トークン消費量だけでは判断できません。

同じ成果物を作るのであれば、少ないトークン消費量で作った人の方が効率的かもしれません。そもそも重要なのはAIをどれだけ使ったかではなく、AIを使ってどんな成果物を作り、どれだけの価値や売上につなげたかのはずです。

ところが、トークン消費量そのものを評価指標にしてしまうと、とりあえず最上位モデルを回し続けたり、必要以上にAIを使ったりする方が評価されるようになります。

そして、適切なモデルを選び、コンテキストを整理し、少ないトークンで大きな成果を出している人ほど、数字上は「AIを使っていない」ように見える可能性すらあります。

計測や効果測定、指標を決めることは基本的に良いことですし、正しく測れれば意味があるはずです。しかし、誤った計測や行き過ぎた計測は逆効果になるどころか、思わぬ問題を引き起こすことがあります。

測りすぎ

ジェリー・Z・ミュラーの『測りすぎ――なぜパフォーマンス評価は失敗するのか?』には、行き過ぎた測定の影響で思わぬ問題を引き起こした事例が大量に出てきます。

• 警察で「逮捕件数」を評価指標にすると、件数を稼ぎやすい軽微な犯罪への対応が増え、より重要だが成果を数字にしにくい活動が後回しになる

• 外科医で「手術成績」を評価指標にすると、医者はリスクの低い手術しか受けなくなり、難易度の高い患者の手術を断るようになる

• 学校で「生徒のテスト点数」を評価指標にすると、教師が「テストで点を取らせること」に集中し、測定対象にならない教育がおろそかになる

• 大学で「卒業率」を評価指標にすると、卒業率を維持・向上させるために単位取得を容易にするなど「数字を良くする」方向へ行動が変わる

どれもとんでもない話ですが、特定の指標だけを重視してしまったり、計測を絶対視してしまったりすると、こういう「測りすぎ」の影響が出てしまうということでしょう。

私たちは「ちゃんと測定して数字に出せば正しい評価ができる」「測定して出てきた数字には意味がある」と思ってしまいがちです。
しかし実際には、測定できる部分しか測定できていないのです。

「数字は嘘をつかないが、嘘つきは数字を使う」とよく言われますが、それに似たものを感じます。
測定や数字を盲信して「測りすぎ」「信じすぎ」な状態になると、思わぬ問題につながってしまいますし、気付かないうちに組織が機能不全に陥ってしまっているかもしれません。

怒られないために目先のことだけ考える

この本を読んでいて思い出したのが、ビッグモーターの保険金不正請求です。

2023年に公表された調査報告書によると、修理1台あたりの工賃と部品粗利の合計を「アット（@）」と呼び、その目標値が14万円前後に設定されていたそうです（アットは社内用語だそうです）。

この数字が低い工場長は会議で理由を厳しく問い詰められ、降格も頻発していたと……

その結果、ゴルフボールを靴下に入れて車体を叩いたり、ドライバーで傷をつけたりして修理範囲を広げ、保険金を水増し請求するといった不正が複数の工場で行われていました。

本来「アット」は、修理部門の収益性や生産性を管理するための指標だったはずです。
しかし、指標を下回ると怒られる状況が続くと、現場は「良い修理をする」ことより「数字を作る」ことを目的にし始めます。

顧客の車を壊してまで数字を作るなんて普通に考えればあり得ないことですが、当事者からすれば「目の前の会議で怒られない」方が、顧客の信用や会社の将来よりもよっぽどリアルな問題だったのかもしれません。

「アット」という指標自体が悪いわけではありません。
しかし、怒られないために数字を作るゲームになった時点で、その指標を使った測定に意味はありません。

目標達成率で評価すると、誰も高い目標を立てなくなる

仕事では個人の目標を決める機会も多いと思います。
もちろん、目標を立てて振り返ること自体は良いことです（目標がなければ何を頑張ったのかも分かりません）。

しかし、目標を「達成率」という数字だけで評価しようとすると、おかしなことが起こります。

もともと頑張っていた人が高い目標を設定し、挑戦したものの結果はうまくいかなかった。
一方で、普段からあまり頑張っていない人がそこそこのハードルの目標を設定して達成した。

目標達成率だけを見てしまうと、後者の方が評価されてしまいます。
頑張らずにクリアできそうな目標を立てた方が評価が上がる、なんて話になりかねません。

そうなると、次の期からは誰も高い目標を立てなくなるでしょう。

「この目標なら確実にいける」
「高い目標を書くと自分の首を絞めるだけ」
「余力は見せずに取っておこう」

外科医が難しい手術を断るのと構造はまったく同じで、挑戦しない方が数字上は正しい振る舞いになるわけです。

過去に書いた『成果を上げても給料が変わらないなら頑張る意味がない？「インセンティブ設計」の難しさ』でも、何を測るのか決めることは何を頑張ってほしいかを決めるのとほとんど同じだと書きました。

目標の難易度を考慮せず、達成率だけを見るなら「達成率が高い人が欲しい（挑戦して失敗する人は評価しない）」と言っているのと同じことになってしまいます。

AIの成果は「測りやすいもの」から測られていく

AI活用の成果を測ろうとしたとき、最初に指標になりやすいのは冒頭に紹介した「トークン消費量」や「利用時間」、「生成したコードの量」あたりではないでしょうか。
どれも測りやすいですし、経営層への報告にも使いやすい数字です。

ただ、どれも「測りすぎ」の入り口になりそうな指標です。

トークン消費量が指標になれば、とりあえず何も考えずにAIに指示したり無駄に使うなど、トークン消費量そのものを増やすインセンティブが生まれます。
利用時間が指標になれば、無駄に冗長な処理をさせるようになったりするかもしれません（コードの量が指標になっても同じ）。

そして適切なモデルを選び、コンテキストを整理し、少ないトークンで大きな成果を出している人ほど、数字上は「AIを使っていない」ように見える可能性すらあります。

「AIを使ったかどうか」は測れますが、「AIで良い仕事ができたかどうか」を測るのは大変です。単純な1つの指標だけを見ておけばいいというわけではないからです。

しかしそれが面倒だからといって、測りやすい数値だけを指標にしてしまうと、問題は深刻化していきます。
何より厄介なのが、計測している側は「これで正しい」と信じ込みやすいことにもあります。

AIの良い使い方を隠す

効率化に消極的な人からよく聞くのが、「頑張って仕事を早く終わらせても、早く終わった分もっと仕事をさせられるだけだ」という意見です。
気持ちは分からなくもありません。

それが最近はAIの使い方にも影響しているように感じます。
AI活用を頑張った分だけ仕事と責任が増えるなら、そこそこの活用にとどめて、良い使い方は人に教えずに持っておいた方が得だという考え方です。

はてな匿名ダイアリーに投稿された『AIで仕事を効率化したら、なぜか僕の仕事だけ増えた話』という記事が、まさにこの話でした。
AIで効率化した方法を社内でせっせと共有していたら、共有した本人の仕事だけが増えていったという内容です。

共有すれば説明や質問対応が増えますし、短縮できた時間は次から「それが普通」になります。それで評価が変わらないなら、黙っていた方が得だと考える人が出てくるのも当然です。

会社は「どれだけ使ったか」を測りたがりますが、個人からすれば「どれだけ使ったか」を見せない方が得になってしまいます。
これでは、うまい使い方が組織に広がるわけがありません。

そもそも、一般的な「1日8時間勤務」という働き方自体も、働いた時間を指標としていると考えられそうです。
ダラダラ仕事をしても、サクサク終わらせても、正社員なら8時間は働く。それで固定給がもらえるわけです。

もちろん頑張って成果を出した分はボーナスや昇給という形で跳ね返ってくる（べき・はず）ですが、そう感じられなくなるとただ8時間過ぎるのを待つだけになってしまう人がいるのは不思議ではありません。

定性データも大切にする

ではどうすればいいのでしょうか？
この本の最終章には、いつどうやって測定基準を用いるべきかのチェックリストが載っています。

その情報は何のために使うのか、測定にかかるコストはメリットを上回らないか、誰が指標を決めるのか、といったことを測る前に確認する内容です。

測ること自体にもコストがかかりますし、測った数字に振り回されるコストもあります。書籍で紹介されているチェックリストに沿って、必要な場合にだけ測るというのが1つの方法です。

もう1つ、自分なりに考えて出た結論が「定性データも大切にする」ということです。

デザインの文脈では昔から言われていることで、「定量データ」と「定性データ」の両方が重要視されています。

必ずしもそれだけが原因とは限りませんが、定量データだけを最適化し続けると、ダークパターンに陥りやすくなります。

• 退会率を下げるために退会ページを分かりにくくする

• 高いプランを契約させるためにページ遷移時にこっそり選択を変える

• 契約の最後の最後でオプションとして料金を上乗せする

• 偽物のカウントダウンで焦って購入させようとする

• 広告の「×」を極端に小さくしたり押しにくくする

これらはとりあえず退会率や売上などの定量データだけを見て、ユーザーがどう感じるかを見ていない可能性があります。

しかし、実際にそのサービスを使っているユーザーの声を聞いていれば、そういった小細工が信用を失うことも、いまならSNSで拡散されて結果的にマイナスになることも分かるはずです。

定量データの暴走を定性データで制御する形です。

そして、こういった定性データの一次整理や要約は、いまではAIに任せることができます。大量の意見を読み込んで傾向を整理してもらう、なんてことが以前よりはるかにラクになりました。

まとめ

私自身は効果測定や指標を決めることに賛成の立場ですし、何も測らずに感覚だけで進めるプロジェクトの方が危ないと思います。

しかし、指標を決めると同時に「その指標を大きくすれば良い」という別のゲームが始まってしまう可能性があることは、頭に入れておいた方が良さそうです。
測定や数字を過信するのではなく、それ以外の部分を見る慎重さも必要です。

AIによる成果を測ろうとする動きは今後も増えていくと思いますが、「トークン消費量」や「利用率」のような測りやすい数字に飛びつく前に、そもそも何を頑張ってほしいのかを言語化しておく必要もあるのかもしれません。