课程大纲 第 162 课,共 250 课 · 评估 RAG 与检索
评估 RAG 与检索

平均倒数排名

精确率和召回率把前 k 个当作一个袋子:排在第 1 位的相关文档和排在第 5 位的算得一样。但排名很重要。用户从上往下读,而 RAG 的提示词通常最依赖第一个文本块。平均倒数排名(MRR)奖励把相关结果排在前面。

对于单个查询,倒数排名是 1 / (rank of the first relevant doc),排名从 1 开始数。如果第一个相关文档在第 1 位,你得 1.0;在第 2 位,得 0.5;在第 3 位,得 1/3。如果根本没有出现相关文档,得分是 0.0。只有第一个命中才算数,这正是"答案有没有出现在用户(或模型)会看的地方"的正确模型。

retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5

MRR 就是这些倒数排名在一整组查询上的平均值。两个查询分别得 1.0 和 0.5,MRR 就是 0.75。它是问答检索的标准头条数字,因为在问答中每个查询通常只有一个你希望排在第一位的正确答案。

要构建什么。

  • reciprocal_rank(retrieved, relevant) -> 走过排好序的列表,一碰到 relevant 里的文档就返回 1.0 / rank(排名从 1 开始)。如果一个都没碰到,返回 0.0。
  • mrr(queries) -> queries 是一个由 (retrieved, relevant) 对组成的列表;对每一对的倒数排名求平均。空列表返回 0.0,而不是崩溃。

用 enumerate(retrieved, start=1),这样索引本身就是排名。按 Run 给两个查询打分并查看平均值。

轮到你了

写 reciprocal_rank(retrieved, relevant),返回 1.0 / (rank of the first relevant doc),排名从 1 开始数;如果没有检索到相关文档,返回 0.0。然后写 mrr(queries),其中 queries 是一个由 (retrieved, relevant) 对组成的列表,返回它们倒数排名的平均值(空列表返回 0.0)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。