评估助手(P@k + 答案准确率 + 关卡)
这一课赢得你简历上那一行的后半句:并评估了。谁都能接好一个 RAG 演示。把一个初级工程师和你愿意雇来负责生产环境助手的人区分开来的,是能够衡量它,并阻止一次糟糕的改动上线。你要构建评测工具和回归关卡。
你用一个标准答案集来评估:一个小的带标签列表,每个用例有一个查询、相关文章的 id 以及期望的答案文本。两类指标:
- 检索质量:
precision_at_k:在你的检索器返回的前 k 个 id 中,相关的占多少比例。这告诉你机器人到底有没有在看正确的文章。 - 答案质量:生成的答案相对于期望文本的准确率,有两种模式:
contains(期望的片段出现在答案里,不区分大小写)和exact(去掉两端空白后完全匹配)。对于自由文本的答案,contains是宽容而现实的那个。
构建这些:
precision_at_k(retrieved, relevant, k)
answer_accuracy(predicted, expected, mode)
evaluate(config) # -> a metrics dict over the whole gold set
regression_gate(old, new) # -> True if safe to ship, False if it regressedprecision_at_k:检索到的前 k 个 id 中在相关集合里的比例;检索结果为空时为 0.0。answer_accuracy:对一个预测给出 1.0 或 0.0,并遵守所选的模式。
evaluate(config) 把它们串起来。config 字典带着 gold 列表、一个 retriever 函数(查询 -> 排好序的 id)、一个 answerer 函数(查询 -> 文本),以及设置 k 和 mode。运行每一个标准答案用例,返回一个至少包含 n(评分的用例数)、precision_at_k(各用例的平均值,保留 4 位小数)和 answer_accuracy(平均值,保留 4 位)的字典。空的标准答案集不能崩溃:返回零。
regression_gate(old, new) 是你会接进拉取请求的 CI 防护:只有当新的运行在被把关的指标(默认是 answer_accuracy)上没有变差时,才返回 True,持平或更好都可以,下降则返回 False。在现实中,正是这个东西阻止了一次提示词微调悄悄拖垮质量。按 Run,给一个完美的机器人和一个坏掉的机器人打分,看关卡拦下这次回归。
在一个带标签的标准答案集上构建评测工具。检索用 precision_at_k(retrieved, relevant, k),答案用 answer_accuracy(predicted, expected, mode)(contains / exact)。evaluate(config) 运行标准答案集(带有 retriever 和 answerer 函数、k、mode),返回一个由平均值组成的指标字典(n、precision_at_k、answer_accuracy),对空集安全。regression_gate(old, new) 只有在答案准确率没有下降时才返回 True。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。