混合搜索:倒数排名融合 + 重排序
BM25(稀疏的、词汇的)和嵌入余弦(稠密的、语义的)各自能抓住对方漏掉的东西:BM25 精准命中确切的词和罕见的代码,稠密检索则能抓住换了说法的表达。生产系统会两者都运行,并把结果合并起来。问题在于它们的分数处在完全不同的尺度上,所以你不能直接把它们加起来。标准的解决办法是按排名而不是分数来合并。
倒数排名融合(RRF)做的正是这件事。每个检索器给你一个有序的文档 id 列表。一个项目的融合分数,是在各个列表上 1 / (k + rank) 的总和,其中 rank 是它在那个列表中从 1 开始的位置,k 是一个常数(60 是常用的默认值,它会缓和第 1 名和第 2 名之间的差距):
score(item) = sum over lists of 1 / (k + rank_in_that_list)一个在两个列表里都排在前面的项目会收集到两份很大的贡献,从而胜出。一个只被一个检索器找到的项目仍然能得到部分分数。然后按融合分数降序排序。为了在两个项目平局时保持确定性,用项目 id 打破平局。
第二阶段是重排序。融合便宜但近似;一个交叉编码器会把查询和一个候选项放在一起读,直接给它们的相关性打分,这要准确得多,但太慢了,没法在整个语料库上运行。所以你先融合得到一个简短的候选列表,然后只用那个昂贵的模型给这几个候选重新排序。我们没法在这里运行一个真正的交叉编码器(没有模型,没有 GPU),所以它的输出以一张分数表的形式交给你,把每个候选映射到它的相关性分数,然后你按它重新排序。
作为背景,一次真正的重排序调用看起来是这样的(评分中不使用):
# a real cross-encoder, requires a model download and is NOT run here
from sentence_transformers import CrossEncoder
ce = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")
scores = ce.predict([(query, doc) for doc in candidates])写两个函数。rrf(rank_lists, k=60) 接收一个排好序的 id 列表的列表,并返回按 RRF 分数降序排列的融合后的 id(平局时按 id 打破)。rerank(candidates, score_table) 返回按它们在 score_table 中的分数降序重新排列的候选(平局时按 id 打破)。
写两个函数。rrf(rank_lists, k=60) 融合几个排好序的 id 列表:每个项目的分数是在各个列表上 1 / (k + rank) 的总和(rank 是从 1 开始的位置),你按融合分数降序返回这些项目,平局时按项目 id 打破。rerank(candidates, score_table) 返回按 score_table[item] 降序重新排列的 candidates,平局时按 id 打破。一个在两个输入列表中都排名靠前的项目必须在融合中胜出;融合两对不同的列表必须给出不同的顺序;rerank 必须按分数表重新排序;而融合单个列表时会原样返回它。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。