リランカーは魔法ではない。集まった本の目利きだ。

BM25が拾わなかった本は戻せない。Cross-Encoderは一冊ごとに推論し、冊数とともに待ち時間も増える。

■写真集は、間違った本ではない

書店で「猫の飼い方」を探している。店員が棚から50冊を集めてくれた。ところが、一番上は猫の写真集。知りたかったしつけの手引きは、40番目にある。

猫の本を集める仕事としては、外していない。それでも、知りたいことにはなかなか届かない。写真集が悪いのではなく、いま先頭に置く本が違うのだ。

RAGでも、これに似たことが起こる。必要な資料はデータベースにある。検索候補にも入っている。それなのに、AIへ渡されるのは別の資料。流暢な回答の手前で、読む本の順番がずれている。

候補を見つけることと、候補から選ぶことは別の仕事である。リランキングは、後者を受け持つ。なお、50冊や40番目という数字は仕組みを伝えるための例であり、検索設計の標準値ではない。

■目利きは、棚まで戻れない

BM25は、検索語の出現頻度や珍しさ、文書の長さを手がかりに候補を探す。BM25Fなら、タイトルや本文といった文書構造の違いも評価に反映できる。意味の近さから探すベクトル検索を組み合わせる方法もある。

そうして集まった候補を、質問と照らして再評価するのがリランキングだ。代表的な方式のCross-Encoderは、質問と候補文書を一組として入力し、関連度を推定する。表紙の言葉だけでなく、質問と中身を一緒に吟味する目利きである。

ただし、その目利きが見られるのは、渡された本だけだ。しつけの手引きが候補に入っていなければ、写真集を何度並べ直しても手引きにはならない。

ここで「もっと賢いリランカーを」と考える前に、必要な資料が候補に存在するかを確かめる。なければ一次検索や文書の分割方法を見直す。あるのに下位なら、並べ方を検証する。同じ検索の失敗に見えても、直す持ち場は異なる。

Cross-EncoderとLTRも、単純な二者択一ではない。LTRは順位を学習する考え方で、代表的な手法にLambdaMARTがある。BM25スコアや文書の新しさに加え、Cross-Encoderのスコアを判断材料に使うこともできる。評価する仕組みと、並べ方を学ぶ仕組みは、重ねて使えるのだ。

■よく合う旧版という難問

もう一つ、目利きの腕だけでは片づかない問題がある。

「海外出張の宿泊費の上限は？」と尋ねる。候補には旅費規程の旧版、新版、経理FAQ、ホテル予約手順が並ぶ。そのうち旧版に、質問とよく一致する説明が書かれていたらどうか。

関連性の評価としては高得点でも、現在のルールを答える根拠にはできない。よく合う本と、いま開くべき本は違う。

現行規程への質問なら有効な版に絞り、過去時点への質問なら当時有効だった版を対象にする。アクセス権限も、順位とは別に守る条件だ。権限のない資料を目利きに渡し、あとで除けばよい、という順番では漏えいの危険が残る。

候補にない。候補にあるが下位にいる。上位にあるが根拠として不適切。この三つを分けると、リランカーに任せる範囲が見えてくる。目利きの仕事を明確にすることは、目利きにすべてを任せないことでもある。

■一冊増えれば、吟味も増える

Cross-Encoderは候補ごとに推論する。候補を増やせば必要な資料を拾える可能性が広がる一方、再評価の回数や遅延も増える。たくさん集めることと、気持ちよく待てることは、いつも同じ方向を向くわけではない。

そこで、導入前後を同じ質問セットで比べる。正解文書が候補に入ったか、関連する資料が上位に来たか、回答が根拠に忠実か。そこへ時間と費用を重ねる。

Recall@kは、正解文書のうち上位k件に取得できた割合だ。一次検索の取りこぼしを見る指標と、並べ替えた後の順位品質を見る指標を分ければ、どこで改善したかを追いやすい。

待ち時間には、p95レイテンシという見方がある。応答時間の95パーセンタイルで、おおむね95％のリクエストがその時間以内に完了する目安だ。リランキングだけでなく、検索から回答までの全体時間も同じ条件で測る。順位がよくなったという成果を、待ち時間から切り離さないためである。

文書が少なく、キーワード検索で十分な答えが取れるなら、目利きを追加しない判断もある。候補は取れているのにノイズが上位を占めるなら、試す価値がある。導入そのものではなく、自社の質問で釣り合うかが判断の中心になる。

AIの答えを点検するとき、その文章だけを眺めたくなる。けれど、一歩手前には、AIが何を読んだかという問いがある。

集まらなかった本。下に埋もれた本。説明はぴったりでも、版が古い本。どこで選び違えたかによって、次の一手は変わる。

魔法を探すより、目利きの持ち場を確かめる。そのための仕組みと判断軸を、元記事でたどる。

📄 リランキングとは？BM25・Cross-Encoderの仕組みとRAG精度改善
https://arpable.com/artificial-intelligence/reranking-algorithm-guide/