平均倒数排名
精确率和召回率把前 k 个当作一个袋子:排在第 1 位的相关文档和排在第 5 位的算得一样。但排名很重要。用户从上往下读,而 RAG 的提示词通常最依赖第一个文本块。平均倒数排名(MRR)奖励把相关结果排在前面。
对于单个查询,倒数排名是 1 / (rank of the first relevant doc),排名从 1 开始数。如果第一个相关文档在第 1 位,你得 1.0;在第 2 位,得 0.5;在第 3 位,得 1/3。如果根本没有出现相关文档,得分是 0.0。只有第一个命中才算数,这正是"答案有没有出现在用户(或模型)会看的地方"的正确模型。
retrieved = ["a", "b", "c"], relevant = {"b"}
# first relevant doc is "b" at rank 2 -> reciprocal rank = 1/2 = 0.5MRR 就是这些倒数排名在一整组查询上的平均值。两个查询分别得 1.0 和 0.5,MRR 就是 0.75。它是问答检索的标准头条数字,因为在问答中每个查询通常只有一个你希望排在第一位的正确答案。
要构建什么。
reciprocal_rank(retrieved, relevant)-> 走过排好序的列表,一碰到relevant里的文档就返回1.0 / rank(排名从 1 开始)。如果一个都没碰到,返回0.0。mrr(queries)->queries是一个由(retrieved, relevant)对组成的列表;对每一对的倒数排名求平均。空列表返回0.0,而不是崩溃。
用 enumerate(retrieved, start=1),这样索引本身就是排名。按 Run 给两个查询打分并查看平均值。
写 reciprocal_rank(retrieved, relevant),返回 1.0 / (rank of the first relevant doc),排名从 1 开始数;如果没有检索到相关文档,返回 0.0。然后写 mrr(queries),其中 queries 是一个由 (retrieved, relevant) 对组成的列表,返回它们倒数排名的平均值(空列表返回 0.0)。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。