课程大纲 第 216 课,共 250 课 · 项目:客服副驾驶
项目:客服副驾驶

评估助手(P@k + 答案准确率 + 关卡)

这一课赢得你简历上那一行的后半句:并评估了。谁都能接好一个 RAG 演示。把一个初级工程师和你愿意雇来负责生产环境助手的人区分开来的,是能够衡量它,并阻止一次糟糕的改动上线。你要构建评测工具和回归关卡。

你用一个标准答案集来评估:一个小的带标签列表,每个用例有一个查询、相关文章的 id 以及期望的答案文本。两类指标:

  • 检索质量:precision_at_k:在你的检索器返回的前 k 个 id 中,相关的占多少比例。这告诉你机器人到底有没有在看正确的文章。
  • 答案质量:生成的答案相对于期望文本的准确率,有两种模式:contains(期望的片段出现在答案里,不区分大小写)和 exact(去掉两端空白后完全匹配)。对于自由文本的答案,contains 是宽容而现实的那个。

构建这些:

precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config)            # -> a metrics dict over the whole gold set
regression_gate(old, new)   # -> True if safe to ship, False if it regressed

precision_at_k:检索到的前 k 个 id 中在相关集合里的比例;检索结果为空时为 0.0。answer_accuracy:对一个预测给出 1.0 或 0.0,并遵守所选的模式。

evaluate(config) 把它们串起来。config 字典带着 gold 列表、一个 retriever 函数(查询 -> 排好序的 id)、一个 answerer 函数(查询 -> 文本),以及设置 k 和 mode。运行每一个标准答案用例,返回一个至少包含 n(评分的用例数)、precision_at_k(各用例的平均值,保留 4 位小数)和 answer_accuracy(平均值,保留 4 位)的字典。空的标准答案集不能崩溃:返回零。

regression_gate(old, new) 是你会接进拉取请求的 CI 防护:只有当新的运行在被把关的指标(默认是 answer_accuracy)上没有变差时,才返回 True,持平或更好都可以,下降则返回 False。在现实中,正是这个东西阻止了一次提示词微调悄悄拖垮质量。按 Run,给一个完美的机器人和一个坏掉的机器人打分,看关卡拦下这次回归。

轮到你了

在一个带标签的标准答案集上构建评测工具。检索用 precision_at_k(retrieved, relevant, k),答案用 answer_accuracy(predicted, expected, mode)(contains / exact)。evaluate(config) 运行标准答案集(带有 retriever 和 answerer 函数、k、mode),返回一个由平均值组成的指标字典(n、precision_at_k、answer_accuracy),对空集安全。regression_gate(old, new) 只有在答案准确率没有下降时才返回 True。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。