【9/22 AIニュース】精度は3.5点差、任せられるのは7割→5割前後 ─ Kev

2026年9月22日 07:43

問い合わせの振り分けやレビューの一次選別をAIに任せている人へ。今週公開された Kev は、有料サービスの Jev と正答率で3.5点差しかありません。ただし、人が見なくていい判定の割合は 0.70 から 0.45〜0.57 に落ちます。

効くのは、AIの判定に自分で責任を持つ立場の人です。振り分け、仕分け、アラートの一次対応。正答率だけを見て乗り換えると、ここで足をすくわれます。

今朝は5件。今日そのまま手を動かせるのは1件で、無料で商用利用もできる重みを落として自分のデータで測り直すところまでが今日の作業です。

今朝の5件を先に並べます

Kev。Jev 互換の小型判定モデル群が Apache-2.0 で出回り、21日に3モデルとも再訓練で更新。正答率は本家と3.5点差だが、自動化に回せる割合は 0.70 → 0.45〜0.57
Grok 4.7（xAI）。入力100万トークン2ドル・出力6ドル。CursorBench 4.0 は 46.3%で Fable 5.1 の 51.8%に届かず、EEBench は 64.0%で首位
CI がAIコーディングの詰まりどころになった。Linear がテストスイート年初比ほぼ4倍のなか、待ち時間を6分超→5分台へ。今日いちばん効く1件
Xiaomi MiMo-V2.6。総1.02兆・活性420億のモデルが MIT で重み公開。コンテキスト100万トークン
Foremerge 0.5.0。並列で走らせたエージェントどうしの「意図の衝突」を、コードを書く前に知らせる

Kev — 本家 Jev と3.5点差、でも「任せられる量」は別物

TypeSafe AI の Jev は、文章を書かずに「はい／いいえ」「どれか1つ」「何点」だけを確率つきで返す、今月出たばかりのモデルです。安さが売りで、公式サイトは入力10億トークンあたり42ドルと出しています。ただしホスティング型で、重みは手に入りません。

そこへ、日本時間の今月18日早朝に立ったのが Kev です。Qwen3.5 を土台に、Jev と同じ API 形式を実装しました。21日には3モデルとも2回目の学習パスで更新され、いちばん大きい9Bはテストセットで 0.837 から 0.852 へ上がっています。

ライセンスは Apache-2.0、重みは Hugging Face にあります。TypeSafe 社の Python SDK の接続先をローカルサーバーへ差し替えるだけで動く作りです。スターは22日朝の時点で2,364。

数字をそのまま並べます

学習に使っていないデータ（新規ソース）での正答率は、Kev-9B が 0.822、Jev が 0.857。差は3.5ポイントです。作者自身が「Jev がどのデータで学習したかは分からないので、統制された比較ではない」と書き添えています。

ここまでなら「ほぼ並んだ」で終わる話です。問題はその先にありました。リポジトリの「制限」の節に、こう書かれています（原文は英語、筆者訳）。

誤りを5%まで許すとき自動化できる判定の割合は 0.45〜0.57 で、Jev の 0.70 にはまだ届かない。確率のしきい値を決める前に、自分のデータで試してほしい。

正答率の差は3.5ポイントでも、「人が見なくていい」と切り出せる割合の差は13〜25ポイントあります。 原因は正答率ではなく較正です。Kev-9B は 0.9 以上の確率をつけて外す割合が 4.0%（Jev は 3.7%）で、しかも温度を1つ決め打ちしているため、確率の並び順そのものは直せません。

判定を機械に任せられるかを決めるのは平均点ではなく、「この確率以上なら見なくていい」と言える線が引けるかです。正答率が近くても、線の位置は同じになりません。

ただし、自分の領域では勝っている

領域を絞ると逆転します。

外部の900件のサポートチケットで、振り分けは Kev-9B 0.952 / Jev 0.897、口調の判定は 0.911 / 0.914
別プロジェクトの144件の判定セットでは Kev-9B 0.917 / Jev 0.965
一般知識では大きく負ける。MMLU 0.74 / 0.90、MMLU-Pro 0.52 / 0.84
決め手の情報をわざと消した「答えようがない」問題に 0.9 以上の確信で答えてしまう割合は、Kev-9B 5% / Jev 9%。ここは Kev のほうが慎重です

つまり、総合点でどちらが上かという問いには意味がありません。 チケットの振り分けだけをやらせたい人と、雑多な知識を聞きたい人では答えが逆になります。

手元での速度

Apple M5・bf16 で5問を1回投げたときの中央値は、Kev-0.8B で329ミリ秒、Kev-4B で779ミリ秒、Kev-9B で約2秒。4B と 9B は32GBの Mac に載ります。

作者は、Mac で低遅延が要るならいまは前世代（Qwen3 版）を使え、と書いています。

https://github.com/jaredpalmer/kev

Grok 4.7 — 価格で前に出て、コーディングの総合力では届かなかった

xAI が21日に Grok 4.7 を公開しました。入力100万トークンあたり2ドル、出力6ドル。Cursor と Grok Build、API、各種コーディングハーネス経由で使えます。

xAI 自身が並べた比較表を、そのまま読みます。

CursorBench 4.0: Grok 4.7 が 46.3%、前版 4.6 が 40.4%、GPT-5.6 Sol が 41.7%、Fable 5.1 が 51.8%
DeepSWE v1.1: 71.0%（高努力設定）、GPT-5.6 Sol 72.7%、Fable 5.1 70.0%
EEBench: 64.0%で首位（GPT-5.6 Sol 39.4%、Fable 5.1 56.4%）
Harvey 法務エージェント: 19.6%（GPT-5.6 Sol 2.5%、Fable 5.1 6.7%）
HealthBench Professional: 56.7%（Fable 5.1 が 62.1%、GPT-5.6 Sol が 60.5%で、どちらにも届かず）

コーディングの総合力では前に出ていません。 xAI 自身も「価格性能のフロンティア」と書くのは CursorBench 4.0 の長めのコーディング作業に限った話で、同じ点数帯をこの値段で買えるのが売りです。一方で EEBench と法務の差は桁が違う。得意な仕事が分かれた版だと読みました。

変更点は「より大きなベース模型」と「難しいタスク構成での長い強化学習」。自分の作業の検証と長い文脈の扱いも改善したとあります。コンテキスト長と知識のカットオフは非公開です。

https://x.ai/news/grok-4-7

Linear — AIがコードを書く速さに、検証が追いつかなくなった

Linear が21日に、自社CIの作り直しを公開しました。書き出しの診断がそのまま問題の定義になっています。「どのPRもCIを通さねばならない。だから開発が速くなるほどCIがボトルネックになり、インフラ費が上がり、開発者もエージェントも待たされる」（筆者訳）。

テストスイートは年初からほぼ4倍に増えた
何もしなければ、いまのスイートは約11分かかっていた
実際のPR待ち時間は6分超から5分台へ短縮
サードパーティのランナーへ移して、ジョブは平均34%高速化
TypeScript の型チェックを tsgo に替えて、週の中央値が73%削減
シャードごとのセットアップ時間は110〜140秒から67〜73秒へ（3つの変更の合計で約44%減）
シャードを4から8に増やし、最も遅いシャードが5.25分→4.33分
まとめ実行の工夫で月約87,000ランナー分、CI使用量の11.8%を節約（6月の使用量を基準にした試算）
最大の単独改善はモジュール状態の共有で、月間コストの約17%

私がここで足を止めたのは、待ち時間の改善幅が「6分超→5分台」しかないことです。上に挙げたことをすべてやって、1分弱。裏を返せば、やらなければ11分になっていた、という話でもあります。

AIにコードを量産させると、増えるのはコードではなくテストです。 そしてテストは、エージェントではなく自分のCI予算で回ります。一人でPRを出してマージしている人ほど、この請求書は静かに増えます。

https://linear.app/now/ci-bottleneck-reworked

その他の動き

Xiaomi MiMo-V2.6。日本時間22日の朝に Hugging Face へ重みが上がりました。MiMo-V2.6-Pro-RL は総1.02兆・1トークンあたり420億活性のスパースMoE、コンテキスト100万トークン、ライセンスはMIT。Flash 版は総3,090億・活性150億です。公開表の DeepSWE v1.1 は 71.9。ただし上の Grok 4.7 の 71.0 も含めて、どちらも各社が自分で出した比較表の数字です。測定環境も条件も違うので、並べて優劣を言うことはできません
Foremerge 0.5.0。複数のコーディングエージェントを同時に走らせたとき、Git が拾えない「意図の衝突」を着手前に知らせる仕組みです。片方が決済クラスを差し替えようとし、もう片方が同じクラスにPayPal対応を足そうとしている——触るファイルが違っても警告が出ます。Apache-2.0、Rust製、Claude Code / Codex / Cursor それぞれのスキルとMCPサーバーを同梱。ただし作者自身が「1.0前のMVPで、ベンチマーク結果はまだ無い」と明記しています

https://github.com/naw103/foremerge

今日いちばん効くのはこれ

Linear のCIの記事です。

Kev のほうが目新しく、Grok 4.7 のほうが大きな発表です。それでも Linear を選んだのは、読まなかったときにお金が減るのがこれだけだからです。

Kev を見送っても今日は何も起きませんし、Grok 4.7 は明日試せます。しかしCIを放置したままAIに書かせる量を増やせば、テストは増え続け、請求は毎月届きます。

今日やること

今日やることを1つに絞るなら、直近1か月のCI実行時間を、年初と比べて出すことです。Linear の「ほぼ4倍」に近い数字が出たら、それはもうAIの生産性の話ではなく、インフラ費の話に変わっています。

これは1件目とも地続きです。Kev の教訓は「正答率が近くても、自動で回せる量は同じではない」でした。CIも同じで、通った・落ちたの正しさより、人が見なくていい割合のほうが効きます。 測るべきは平均点ではなく、手放せる割合です。