课程大纲 第 161 课,共 250 课 · 评估 RAG 与检索
评估 RAG 与检索

Precision@k 与 Recall@k

在调整任何一个提示词之前,先回答一个更难的问题:检索器到底有没有找到正确的文档?一个 RAG 系统有两半,检索和生成,它们以不同的方式失败。如果取回来的是错误的文本块,再怎么打磨提示词也救不了你。所以我们单独衡量检索,对照每个查询标注好的相关文档集合,用每个搜索工程师都烂熟于心的两个数字。

Precision@k(精确率@k)问的是:在我返回的前 k 个文档里,有多少比例真正相关?这是"我给用户看了多少垃圾"的指标。

precision@k = (relevant docs in the top k) / (number of docs in the top k)

Recall@k(召回率@k)问的正好相反:在所有确实相关的文档里,我在前 k 个中成功找出了多少比例?这是"我漏掉了多少"的指标。

recall@k = (relevant docs in the top k) / (total number of relevant docs)

算一个具体的例子。你检索到 ["a", "b", "c"],相关集合是 {"a", "c"}。在 k=3 时,返回的三个文档里有两个相关,所以精确率是 2/3。两个相关文档都找到了,所以召回率是 1.0。两者此消彼长:放大 k,召回率上升,而精确率通常会下降。

要构建什么。两个纯函数:

  • precision_at_k(retrieved, relevant, k) -> 检索到的前 k 个 ID 中,在 relevant 里的比例。除以前 k 个里你实际拥有的文档数(这样列表很短或 k 很大时,永远不会除以错误的数)。
  • recall_at_k(retrieved, relevant, k) -> 前 k 个中捕获到的 relevant 的比例,除以 len(relevant)。

注意测试会探查的边界:k 比检索列表还大,以及空的相关集合(返回 0.0,永远不要除以零)。把 relevant 当作集合,以便快速判断成员关系。在真实的评测工具里,你会把向量数据库的输出喂给它们;在这里,它们直接在标注好的列表上评分。

关于范围说一句:本模块讲的是 Precision@k、Recall@k、MRR 和 NDCG。搜索团队通常还会报告 MAP(平均精度均值),它把在每个相关命中处测得的精确率,在一组查询上取平均;这里的四个指标是最常见的起点。

按 Run 给一个排名打分。

轮到你了

写 precision_at_k(retrieved, relevant, k)(检索到的前 k 个 ID 中在 relevant 集合里的比例,除以前 k 个里实际有的文档数)和 recall_at_k(retrieved, relevant, k)(前 k 个中捕获到的 relevant 集合的比例,除以 len(relevant))。两者在空的边界情况(空的检索结果、空的相关集合)下都必须返回 0.0,而不是崩溃。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。