ハイブリッド検索:Reciprocal Rank Fusion + リランキング
BM25(疎、語彙に基づく)と埋め込みのコサイン(密、意味に基づく)は、それぞれ相手が見逃すものを捕まえます:BM25 は正確な単語や珍しいコードを確実に押さえ、密な検索は言い換えを捕まえます。本番のシステムは両方を動かして結果を組み合わせます。厄介なのは、両者のスコアがまったく違う尺度に住んでいるので、ただ足すことはできない点です。標準的な直し方は、スコアではなく順位で組み合わせることです。
Reciprocal Rank Fusion(RRF)がまさにそれをします。各検索器は文書 ID の順位付きリストを返します。ある要素の融合スコアは、リスト全体にわたる 1 / (k + rank) の合計で、rank はそのリストでの 1 始まりの位置、k は定数です(よく使われる既定値の 60 は、1 位と 2 位の差をやわらげます):
score(item) = sum over lists of 1 / (k + rank_in_that_list)両方のリストの上位にある要素は、大きな寄与を 2 つ集めて勝ちます。1 つの検索器だけが見つけた要素も、部分的な得点を得ます。それから融合スコアの降順に並べます。2 つの要素が同点のときに決定的にするため、要素の ID で同点を崩します。
2 段目はリランキングです。融合は安くて近似的です。クロスエンコーダーはクエリと候補を一緒に読んで関連度を直接採点するので、はるかに正確ですが、コーパス全体に走らせるには遅すぎます。だから融合で短い候補のリストを作り、高価なモデルではその数件だけをリランキングします。ここでは本物のクロスエンコーダーは動かせない(モデルも GPU もない)ので、各候補をその関連度のスコアに対応させるスコア表としてその出力が渡され、それで並べ直します。
参考までに、本物のリランカーの呼び出しはこんな形です(採点には使いません):
# a real cross-encoder, requires a model download and is NOT run here
from sentence_transformers import CrossEncoder
ce = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")
scores = ce.predict([(query, doc) for doc in candidates])関数を 2 つ作ってください。rrf(rank_lists, k=60) は順位付きの ID のリストのリストを受け取り、融合した ID を RRF のスコアの降順に(同点は ID で崩して)並べて返します。rerank(candidates, score_table) は、候補を score_table でのスコアの降順に(同点は ID で崩して)並べ直して返します。
関数を 2 つ書いてください。rrf(rank_lists, k=60) はいくつもの順位付きの ID のリストを融合します:各要素のスコアはリスト全体にわたる 1 / (k + rank) の合計(rank は 1 始まりの位置)で、要素を融合スコアの降順に、同点は要素の ID で崩して並べて返します。rerank(candidates, score_table) は、candidates を score_table[item] の降順に、同点は ID で崩して並べ直して返します。入力の両方のリストで上位の要素が融合で勝たなければならず、2 つの違うリストの組を融合すれば違う順番にならなければならず、rerank はスコア表で並べ直さなければならず、リスト 1 つだけを融合すればそのまま返さなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。