综合项目:一份检索评测报告
你已经有了四个指标。现在把它们接进工程师真正要交付的东西:一份检索评测报告,它让一组标注好的查询跑过一个检索器,然后交回一张评分卡。这就是"构建并评估过一个 RAG 流水线"这句简历背后的作品,也是让你能说"新的检索器把 MRR 从 0.62 提高到了 1.0"而不是"感觉更好了"的东西。
这个评测工具有三个活动部件。评测集是一个用例列表,每个用例是像 {"query": "refund policy", "relevant": {"d_refund"}} 这样的字典。检索器是任何一个可调用对象 retriever(query, k),它返回一个排好序的文档 ID 列表(你把它传进去,所以同一份报告可以给 BM25 基线、稠密检索器或混合检索器评分)。而报告在全部四个指标上给每个查询打分,然后汇总。
def evaluate_retrieval(eval_set, retriever, k):
rows = []
failures = []
for case in eval_set:
retrieved = retriever(case["query"], k)
# score this query: P@k, R@k, RR, NDCG@k
# if the reciprocal rank is 0.0, the retriever missed -> record a failure
...
# roll rows into a pandas DataFrame, then return the means + the frame + failures
...要在检索到的 ID 上计算 NDCG,就用简单的方式把排名变成分级相关性:文档在相关集合里就得 1,否则得 0。复用你构建过的函数:precision_at_k、recall_at_k、reciprocal_rank、dcg 和 ndcg_at_k。
要构建什么。evaluate_retrieval(eval_set, retriever, k),返回一个字典,包含:
mean_precision_at_k、mean_recall_at_k、mrr、mean_ndcg_at_k-> 每个指标在所有查询上的平均值,各自用round保留 4 位小数。per_query-> 一个pandas.DataFrame,每个查询一行,带上这个查询的指标(这样你可以一眼看出哪个查询表现糟糕)。failures-> 倒数排名为0.0的查询列表(检索器没有找出任何相关的东西)。这就是你的调试工作清单。
评分器会把汇总数字和手算的值进行核对,确认失败列表点出了那个没被覆盖的查询,并证明一个更好的检索器得分严格更高,这是任何常量都伪造不了的关系型检查。在一个完整的系统里,接下来模型会根据胜出的检索器返回的文本块来回答,但生成那一步是流水线的另一半;在这里你单独给检索评分。按 Run 打印一张评分卡。
写 evaluate_retrieval(eval_set, retriever, k)。eval_set 是一个由 {"query", "relevant"} 字典组成的列表;retriever(query, k) 返回一个排好序的文档 ID 列表。对每个查询,计算 precision_at_k、recall_at_k、reciprocal_rank 和 ndcg_at_k(检索到的文档在相关集合里就当作相关性 1,否则为 0,并用整个相关集合建立理想值:每个相关文档一个 1)。返回一个字典,包含 mean_precision_at_k、mean_recall_at_k、mrr、mean_ndcg_at_k(各自保留 4 位小数)、一个 per_query pandas DataFrame(每个查询一行),以及一个由每个倒数排名为 0.0 的查询组成的 failures 列表。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。