NDCG@k:分级相关性
精确率、召回率和 MRR 都把相关性当作是/否的标记。但真实的相关性有深浅之分:一个文档可以是完美的、有点用的,或者离题的。NDCG(归一化折损累计增益)是衡量分级相关性的指标,也是大型搜索和推荐团队实际报告的那个。
它叠加了三个想法。第一,增益:每个结果带有一个相关性分数(比如 3 = 完美,1 = 勉强,0 = 不相关)。第二,按位置折损,因为一个埋在第 10 位的好结果,帮助不如排在第 1 位的。折损累计增益把每个结果的增益除以 log2(position + 1) 再求和:
DCG = sum( rel_i / log2(i + 1) ) for i = 1, 2, 3, ...在第 1 位,除数是 log2(2) = 1(没有折损);在第 2 位,是 log2(3);依此类推,所以越靠后的位置价值越低。第三,归一化:DCG 本身没有上界,很难在不同查询之间比较,所以要除以理想 DCG(IDCG),也就是把同样的相关性分数从好到坏排序后会得到的 DCG。
NDCG@k = DCG(top k) / DCG(ideal ordering of the same scores, top k)这就把每个查询都放到了 0.0 到 1.0 的尺度上,其中 1.0 表示"已经是最好的顺序"。倒过来的排名得分严格低于 1.0;全为零(没有任何相关)的排名定义为 0.0。
要构建什么。
dcg(rels)-> 一个相关性分数列表的折损累计增益,使用math.log2(i + 1),i从 1 开始。ndcg_at_k(ranked_rels, k)-> 前k个的dcg,除以同样的分数降序排序后(理想情况)前k个的dcg。如果理想 DCG 是0,就返回0.0,而不是除以零。
手算验证一个:dcg([3, 0, 2]) 是 3/log2(2) + 0/log2(3) + 2/log2(4) = 3 + 0 + 1 = 4.0。按 Run 比较一个完美排序和一个倒过来的排序。
写 dcg(rels),返回折损累计增益 sum(rel_i / log2(i + 1)),位置 i 从 1 开始数。然后写 ndcg_at_k(ranked_rels, k, ideal_rels=None),返回前 k 个的 dcg 除以理想 DCG:每一个被评判过的文档的相关性分数,降序排序,取前 k 个。给出了 ideal_rels 时就用它;它为 None 时,就用 ranked_rels 本身(只有在排名已经包含了每个相关文档时才没问题)。只从检索到的列表里取理想值是一个经典的 bug:一个在 3 个相关文档中只找到 1 个、而且排在第 1 位的系统,会得到完美的 1.0。理想 DCG 为 0 时返回 0.0,这样全为零的排名就不会除以零。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。