课程大纲 第 148 课,共 250 课 · 从零实现嵌入与语义搜索
从零实现嵌入与语义搜索

BM25:稀疏的词汇排名

TF-IDF 是一条很好的基线,但真正驱动搜索引擎、也是现代混合检索中词汇那一半的排名函数是 BM25。它保留了 TF-IDF 的直觉(罕见的词重要,重复的词重要),但用可调节的旋钮修正了它的两个缺陷。

对于一份文档中的一个查询词,BM25 贡献:

idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )

其中 tf 是这个词在文档中出现的次数,dl 是文档长度,avgdl 是平均文档长度。文档的分数是所有查询词的贡献之和。三个部分在起作用:

  • 带 BM25 平滑的 IDF:idf = log(1 + (N - n + 0.5) / (n + 0.5)),其中 N 是文档的数量,n 是有多少份文档包含这个词。+ 1 让它不会变成负数。
  • 通过 k1(默认 1.5)实现的词频饱和:一个词的第 10 次出现所增加的,远少于第 2 次。原始的 TF-IDF 永远线性增长;BM25 会趋于平缓。
  • 通过 b(默认 0.75)实现的长度归一化:一份长文档仅仅因为长,就被预期会更常包含某个词,所以它的分数会被打折。两份 tf 相同的文档,较短的那份排名更高。

一个在任何文档中都没有出现的词不贡献任何东西,而一份缺少所有查询词的文档得分恰好是 0.0。这个零承担着重任:它就是你知道一份文档不相关的方式。

你要在分好词的文档(词的列表)上工作,这样重点就在数学上,而不是分词上。用 math.log(自然对数);底数只是把所有分数缩放一个常数,不会改变排名。

构建 bm25_scores(query, corpus_tokens, k1=1.5, b=0.75),其中 query 是一个查询词列表,corpus_tokens 是一个分好词的文档列表。返回一个 BM25 分数列表,每份文档一个,按语料库的顺序排列。

轮到你了

写 bm25_scores(query, corpus_tokens, k1=1.5, b=0.75),实现 BM25 排名函数。query 是一个词列表;corpus_tokens 是一个分好词的文档列表(每份是一个词的列表)。对每份文档,在不重复的查询词上求和:idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)),其中 idf = log(1 + (N - n + 0.5) / (n + 0.5))。按语料库的顺序返回分数列表。一个查询词出现次数更多的文档得分更高;一个完全没有查询词的文档得分 0.0;词频相同时,较长的文档得分更低;两份完全相同的文档得分完全相同。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。