BM25:稀疏的词汇排名
TF-IDF 是一条很好的基线,但真正驱动搜索引擎、也是现代混合检索中词汇那一半的排名函数是 BM25。它保留了 TF-IDF 的直觉(罕见的词重要,重复的词重要),但用可调节的旋钮修正了它的两个缺陷。
对于一份文档中的一个查询词,BM25 贡献:
idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )其中 tf 是这个词在文档中出现的次数,dl 是文档长度,avgdl 是平均文档长度。文档的分数是所有查询词的贡献之和。三个部分在起作用:
- 带 BM25 平滑的 IDF:
idf = log(1 + (N - n + 0.5) / (n + 0.5)),其中N是文档的数量,n是有多少份文档包含这个词。+ 1让它不会变成负数。 - 通过
k1(默认 1.5)实现的词频饱和:一个词的第 10 次出现所增加的,远少于第 2 次。原始的 TF-IDF 永远线性增长;BM25 会趋于平缓。 - 通过
b(默认 0.75)实现的长度归一化:一份长文档仅仅因为长,就被预期会更常包含某个词,所以它的分数会被打折。两份tf相同的文档,较短的那份排名更高。
一个在任何文档中都没有出现的词不贡献任何东西,而一份缺少所有查询词的文档得分恰好是 0.0。这个零承担着重任:它就是你知道一份文档不相关的方式。
你要在分好词的文档(词的列表)上工作,这样重点就在数学上,而不是分词上。用 math.log(自然对数);底数只是把所有分数缩放一个常数,不会改变排名。
构建 bm25_scores(query, corpus_tokens, k1=1.5, b=0.75),其中 query 是一个查询词列表,corpus_tokens 是一个分好词的文档列表。返回一个 BM25 分数列表,每份文档一个,按语料库的顺序排列。
写 bm25_scores(query, corpus_tokens, k1=1.5, b=0.75),实现 BM25 排名函数。query 是一个词列表;corpus_tokens 是一个分好词的文档列表(每份是一个词的列表)。对每份文档,在不重复的查询词上求和:idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)),其中 idf = log(1 + (N - n + 0.5) / (n + 0.5))。按语料库的顺序返回分数列表。一个查询词出现次数更多的文档得分更高;一个完全没有查询词的文档得分 0.0;词频相同时,较长的文档得分更低;两份完全相同的文档得分完全相同。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。