课程大纲 第 164 课,共 250 课 · 评估 RAG 与检索
评估 RAG 与检索

综合项目:一份检索评测报告

你已经有了四个指标。现在把它们接进工程师真正要交付的东西:一份检索评测报告,它让一组标注好的查询跑过一个检索器,然后交回一张评分卡。这就是"构建并评估过一个 RAG 流水线"这句简历背后的作品,也是让你能说"新的检索器把 MRR 从 0.62 提高到了 1.0"而不是"感觉更好了"的东西。

这个评测工具有三个活动部件。评测集是一个用例列表,每个用例是像 {"query": "refund policy", "relevant": {"d_refund"}} 这样的字典。检索器是任何一个可调用对象 retriever(query, k),它返回一个排好序的文档 ID 列表(你把它传进去,所以同一份报告可以给 BM25 基线、稠密检索器或混合检索器评分)。而报告在全部四个指标上给每个查询打分,然后汇总。

def evaluate_retrieval(eval_set, retriever, k):
    rows = []
    failures = []
    for case in eval_set:
        retrieved = retriever(case["query"], k)
        # score this query: P@k, R@k, RR, NDCG@k
        # if the reciprocal rank is 0.0, the retriever missed -> record a failure
        ...
    # roll rows into a pandas DataFrame, then return the means + the frame + failures
    ...

要在检索到的 ID 上计算 NDCG,就用简单的方式把排名变成分级相关性:文档在相关集合里就得 1,否则得 0。复用你构建过的函数:precision_at_k、recall_at_k、reciprocal_rank、dcg 和 ndcg_at_k。

要构建什么。evaluate_retrieval(eval_set, retriever, k),返回一个字典,包含:

  • mean_precision_at_k、mean_recall_at_k、mrr、mean_ndcg_at_k -> 每个指标在所有查询上的平均值,各自用 round 保留 4 位小数。
  • per_query -> 一个 pandas.DataFrame,每个查询一行,带上这个查询的指标(这样你可以一眼看出哪个查询表现糟糕)。
  • failures -> 倒数排名为 0.0 的查询列表(检索器没有找出任何相关的东西)。这就是你的调试工作清单。

评分器会把汇总数字和手算的值进行核对,确认失败列表点出了那个没被覆盖的查询,并证明一个更好的检索器得分严格更高,这是任何常量都伪造不了的关系型检查。在一个完整的系统里,接下来模型会根据胜出的检索器返回的文本块来回答,但生成那一步是流水线的另一半;在这里你单独给检索评分。按 Run 打印一张评分卡。

轮到你了

写 evaluate_retrieval(eval_set, retriever, k)。eval_set 是一个由 {"query", "relevant"} 字典组成的列表;retriever(query, k) 返回一个排好序的文档 ID 列表。对每个查询,计算 precision_at_k、recall_at_k、reciprocal_rank 和 ndcg_at_k(检索到的文档在相关集合里就当作相关性 1,否则为 0,并用整个相关集合建立理想值:每个相关文档一个 1)。返回一个字典,包含 mean_precision_at_k、mean_recall_at_k、mrr、mean_ndcg_at_k(各自保留 4 位小数)、一个 per_query pandas DataFrame(每个查询一行),以及一个由每个倒数排名为 0.0 的查询组成的 failures 列表。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。