Precision@k 与 Recall@k
在调整任何一个提示词之前,先回答一个更难的问题:检索器到底有没有找到正确的文档?一个 RAG 系统有两半,检索和生成,它们以不同的方式失败。如果取回来的是错误的文本块,再怎么打磨提示词也救不了你。所以我们单独衡量检索,对照每个查询标注好的相关文档集合,用每个搜索工程师都烂熟于心的两个数字。
Precision@k(精确率@k)问的是:在我返回的前 k 个文档里,有多少比例真正相关?这是"我给用户看了多少垃圾"的指标。
precision@k = (relevant docs in the top k) / (number of docs in the top k)Recall@k(召回率@k)问的正好相反:在所有确实相关的文档里,我在前 k 个中成功找出了多少比例?这是"我漏掉了多少"的指标。
recall@k = (relevant docs in the top k) / (total number of relevant docs)算一个具体的例子。你检索到 ["a", "b", "c"],相关集合是 {"a", "c"}。在 k=3 时,返回的三个文档里有两个相关,所以精确率是 2/3。两个相关文档都找到了,所以召回率是 1.0。两者此消彼长:放大 k,召回率上升,而精确率通常会下降。
要构建什么。两个纯函数:
precision_at_k(retrieved, relevant, k)-> 检索到的前k个 ID 中,在relevant里的比例。除以前k个里你实际拥有的文档数(这样列表很短或k很大时,永远不会除以错误的数)。recall_at_k(retrieved, relevant, k)-> 前k个中捕获到的relevant的比例,除以len(relevant)。
注意测试会探查的边界:k 比检索列表还大,以及空的相关集合(返回 0.0,永远不要除以零)。把 relevant 当作集合,以便快速判断成员关系。在真实的评测工具里,你会把向量数据库的输出喂给它们;在这里,它们直接在标注好的列表上评分。
关于范围说一句:本模块讲的是 Precision@k、Recall@k、MRR 和 NDCG。搜索团队通常还会报告 MAP(平均精度均值),它把在每个相关命中处测得的精确率,在一组查询上取平均;这里的四个指标是最常见的起点。
按 Run 给一个排名打分。
写 precision_at_k(retrieved, relevant, k)(检索到的前 k 个 ID 中在 relevant 集合里的比例,除以前 k 个里实际有的文档数)和 recall_at_k(retrieved, relevant, k)(前 k 个中捕获到的 relevant 集合的比例,除以 len(relevant))。两者在空的边界情况(空的检索结果、空的相关集合)下都必须返回 0.0,而不是崩溃。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。