採用判定を撤回し、失われた物差しを復元した

騎手評価の候補は、主要な成績で改善していた。

1位勝率、上位3頭の包含、確率品質。固定した7月の母集団で複数の指標が良くなり、当初は採用と判定された。

私は、その判定を確定しなかった。

以前の騎手評価を問題視した「逆方向」の分析と、同じ定義で候補を測っていなかったからだ。

採用判定を撤回し、先に失われた物差しを復元することにした。

良い数字だけでは比較にならない

候補評価では、7月の1,207レースを同じ母集団にし、主要指標を比較していた。技術的な比較としては成立していた。

しかし、騎手評価には別の意味監査があった。勝ち馬より上に評価した馬との組を作り、その2頭の騎手点が予想の誤りを強めたかを見る。以前の基準では、決定的なレース数、逆方向の割合、正しい予想を支えた件数などが記録されていた。

候補が全体成績を良くしても、その逆方向の害を増やしていれば、自動採用はできない。主要指標と意味監査は、同じ性能を別名で測るものではなかった。

当初の採用時には、旧定義をそのまま候補へ適用する工程が抜けていた。代わりの近い指標は改善方向を示していたが、同一定義の比較ではない。

私は、採用を未確定へ戻した。

この訂正は、候補コードを却下して元へ戻す操作ではなかった。隔離環境の候補は保持し、本番へ入れない。評価結果には「採用確定」ではなく、必要な意味監査を待つ状態を付けた。

当初の主要指標も無効にはしない。同じ母集団で改善したという事実は残る。ただし、その事実だけで採否を閉じない。足りなかった物差しが何かを明記し、解除条件を旧定義の再現と候補再評価にした。

この形にしたことで、一度の判定ミスを隠さず、かといって有効な評価作業を全部捨てずに済んだ。判定だけを、根拠が支える地点へ戻した。

解析プログラムが見つからない

旧監査を再実行しようとしたが、その数値を作った独立解析プログラムは現在のコード内に見つからなかった。

過去の報告書には集計値がある。決定的なレース180、逆方向割合0.538付近、正しい側を支えた139など。しかし、集計結果だけを見ても、どの馬の組を対象にし、同点をどう扱い、何を決定的と呼んだかは完全には分からない。

似た名前の指標を新しく作り、過去値へ近づけることは禁止した。定義を推測すれば、候補に都合のよい物差しを作ることになる。

必要なのは、過去の数値を生んだ一次材料から定義を復元し、同じ計算で旧値が再現することだった。

探索では、現在の実行スクリプト、過去の仕事履歴、固定基準の成果物を順に調べた。名前が似たファイルがあっても、180や0.538付近を生成した証拠がなければ採用しない。

集計報告書や表形式ファイルには、軸ごとの最終値が残っていた。しかし、どの1組を数えたかという明細がない表だけでは、同点除外や比較相手の選び方を復元できない。報告値を目標に条件を調整する危険がある。

解析プログラムが0件だったという探索結果も、定義が存在しなかったことを意味しない。実行後に一時コードが残らなかった可能性がある。そこで、コードの不在を理由に新定義へ移らず、当時の入力と中間出力を探した。

固定基準の中に生の組が見つかったことで、探索の方向が変わった。最終値から逆算するのではなく、各判定を積み上げて最終値へ到達できるようになった。

凍結された生の組

探索の結果、7月の固定基準フォルダに、勝ち馬と誤って上位評価した馬を1組ずつ並べた生データが残っていた。

組は4,504件あった。

集計表ではなく、各レースの各比較相手について、順位、点差、騎手点差などを持つ中間記録だった。解析プログラムは失われていても、この組から何を数えたかを他の集計表と突き合わせられる。

まず、勝ち馬がAIが1位とした馬ではなかったレースを対象にし、勝ち馬と、その上へ置かれた馬の組を作る。完全同点は除外する。騎手点差が誤上位馬を支える方向なら逆方向として数える。点差全体に対する寄与が一定条件を越えるものを決定的とする。

正しい予想を支えた側は、別の母集団で1位馬と2位馬の組を見る。誤予想側の組数と同じものとして足し引きしない。

生データには、勝ち馬と上位評価馬の点差、騎手軸の差、順位関係が残っていた。これらを使い、集計表の各列が何を数えたかを照合した。一つの仮説で180が合っても、割合や点数が合わなければ定義は違う。

完全同点を除外する理由も明確だった。点数差が0なら、騎手軸が誤上位を作ったとは言えない。元配列順の別問題を、騎手評価の逆方向へ入れないためである。

決定的という分類は、騎手点差の絶対値だけではなく、総合的な点差との関係を見る。詳細閾値は非公開だが、同じ条件を旧基準と候補へ適用した。候補の点差分布に合わせて変えなかった。

正しい側の母集団は、AIが1位とした馬が勝ったレースで1位と2位を比べる。誤り側と成功側では組の作り方が違うため、件数を同じ分母の割合へまとめない。この粒度分離が、後の衝突を正しく読ませた。

完全な判定式は公開しないが、異なる母集団と同点除外を復元できたことが重要だった。

小数点6桁の再現

復元した定義を旧基準の生データへ適用した。

結果は、180、0.538479、787、139、342.087841、56。過去に残る主要値と小数点以下6桁まで一致した。

一部の整数だけが合う程度なら、別定義でも偶然一致する可能性がある。割合と点数集計まで同じ値になったことで、旧物差しを再現した根拠が強くなった。

787は逆方向が現れたレースの集計、342.087841は害の大きさを別の単位で合計した値、56は正しい側で逆方向だった件数として対応した。6つの数が同時に一致し、母集団の取り違えがないことを確認した。

小数点6桁の一致は、表示を丸めて合わせたのではない。同じ生データから計算した出力を比較し、丸め後の正式値が一致した。内部の浮動小数差を無理に文字列置換したわけではなかった。

再現結果と手順を固定保存し、旧定義の正本とした。次の候補では、この保存済み手順を変えずに入力だけを候補出力へ替える。これで、試験ごとに物差しが変わるのを防いだ。

ここで初めて、候補を同じ方法で測る準備ができた。旧集計表の数値を候補表へコピーするのではなく、候補の生の組へ復元定義を適用する。

過去値を再現できなければ、候補評価は進めない条件だった。採用を急ぐために近似定義を正式化しなかった。

候補を同じ物差しへ載せる

候補の再評価では、決定的なレース数が180から171へ減った。逆方向割合は0.538479から0.537469へわずかに改善した。

主要な害の数だけを見れば、採用を支える結果である。

一方、正しい予想を支えたレースは139から138へ減った。さらに、正しい予想の中で騎手点が逆向きに働いた件数は56から59へ増えた。

害側は改善し、正しい側では悪化の信号が出た。

787という逆方向のレース数は前後で同じだったが、中身は同じではない。改善したレースと新たに悪化したレースが入れ替わり、純件数だけが変わらない場合がある。

実際、改善した7レースと悪化した7レースが入れ替わり、総数は787のままだった。純件数0という表示だけなら「何も変わらない」と読めるが、対象は14レース分入れ替わっている。

候補が誰を救い、誰を悪化させたかを見なければ、同じ件数の中で重大な順位崩壊が生じても分からない。この発見が、次のレース単位監査へつながった。

180から171という改善も、9レースすべてが実質的に大きく良くなったとは限らない。判定境界を僅かに越えただけで分類から外れた場合がある。集計結果は、個別の変化量を開く必要を示した。

この結果を、全体として改善または悪化の一語へまとめることはできなかった。

母集団の違いを混ぜない

180から171は、決定的な誤方向レースの変化である。139から138は、正しい予想を支える別母集団の変化。56から59は、その正しい側で逆向きだった件数だった。

これらを足して総合点を作る正式規則はない。害が9件減り、悪化が3件増えたから純6件改善、と計算すれば、異なる定義を混ぜる。

割合0.537469の小さな改善も、許容できるかは別である。小数差が統計的または運用上十分かを、根拠なしに断定しない。

私は、主要な悪影響が改善したから正しい側の悪化を無視する判定を採らなかった。反対に、56から59だけで候補全体を却下もしなかった。

採用でも却下でもなく、保留にした。

保留の理由は根拠不足ではなく、複数の根拠が異なる方向を示したことだった。主要成績と主要な悪影響指標は改善方向、正しい側の1指標は悪化方向を示した。どちらかを無効とする正式規則がないため、AIが自動で重み付けして決めない。

却下しなかったのは、害側の改善が実在するからである。採用しなかったのは、正しい予想を壊す兆候が実在するからである。両方を同じ報告へ置き、次の判断材料を個別レースへ求めた。

本番未反映を維持したため、保留中に利用者の予想は変わらない。候補の成果物と復元した物差しは隔離して残し、追加監査後に同じ状態から判断を再開できる。

失われたのはコードだけではない

解析プログラムが残っていないことは、再実行できないという問題だった。しかし、本当に失われかけていたのは、数字の意味である。

180という値だけが残っても、レース数か組数か、同点を含むか、どの順位を対象にするかが分からなければ、次の候補と比較できない。

今回、生の4,504組と複数の集計表が残っていたため、残された記録から定義を復元できた。復元後は、判定手順と母集団を記録し、次回も同じ値を計算できる成果物にした。

この事件は、最終集計表だけを保存する危険も示した。集計値は小さく保管しやすいが、新しい候補を同じ方法で測るには、少なくとも定義と再現可能な中間記録が必要である。

すべての生データを無期限に残せばよいという話でもない。どの判断を再現するために必要かを登録し、固定基準として保護する。4,504組は、騎手評価の採否を支える正本として役割が明確になった。

今後は、解析コード、入力の版、出力集計を一つの評価パッケージとして残す。コードだけでもデータだけでもなく、同じ値へ戻れる組を保存する。失われた物差しを二度と推測で作らないためだった。

解析プログラムを新しく推測で書くのではなく、まず旧値の完全再現を合格条件にした。その後の実装は、復元した定義を機械的に繰り返す道具であり、定義そのものを発明するものではない。

採用を戻せたこと

一度採用と書いた判定を撤回するのは、進捗を失うように見える。

だが、そのまま本番へ入れれば、後から同じ意味監査で悪化が判明しても、どの条件で採ったか説明できない。

私は、主要指標が改善した事実を消さず、採用だけを未確定へ戻した。騎手台帳の参照修正や隔離評価の成果も残した。足りなかった同一定義比較を追加し、その結果が衝突したため保留にした。

本番は変更していない。現在ロジックも維持した。候補は隔離側に残り、次の判断材料を待つ。

物差しが戻った後

復元した物差しは、候補を自動で不採用にするためのものではない。

主要な悪影響の180から171、逆方向割合の微改善は利益である。正しい側の56から59は害である。どちらも同じ定義で確認された。

次に必要なのは、集計の奥にある個別レースを見ることだった。改善9件と悪化3件という異なる集計を直接相殺せず、どの順位がどこまで動いたかを確認する。

失われた定義を復元したことで、その個別監査も同じ基準から始められるようになった。

採用判定は後退した。しかし、判断の再現性は前へ進んだ。

候補を採るために物差しを作るのではない。旧基準を再現し、その同じ物差しが良い数字と悪い数字を同時に示すなら、両方を残す。

その結果、採用という一語は消え、保留という正確な現在地が残った。

物差しを取り戻したからこそ、良い結果だけでなく、採用を止める悪化も同じ精度で見えるようになった。旧値を再現できない近似指標で急いで決めず、利益と害を同じ定義で並べられたことが、今回の復元の目的だった。