课程大纲 第 238 课,共 250 课 · 项目:提示词评测 CI
项目:提示词评测 CI

回归关卡

这是压轴之作,也是你简历上的那一行:构建了一个提示词评测工具 + 回归关卡。你有了打分器(第 1 课)和评判解析器(第 2 课)。现在你要接上让它成为 CI 的那一块:一个在每次提示词改动时运行、并在质量下降时拦下合并的关卡。正是它阻止了队友的"小调整"在生产环境里悄悄拖垮准确率,它是一个永远不会累的自动审阅者。

模型是这样的:你有一个标准答案集,还有一个提示词的两个版本,每个版本都在这个集合上产生一个预测列表。这里的准确率就是和标准答案(去掉两端空白后)完全匹配的预测所占的比例。首先,比较两者:

  • compare(v1_preds, v2_preds, golds) -> {"v1": acc1, "v2": acc2, "delta": acc2 - acc1},其中每个准确率都是相对于 golds 的完全匹配率,delta 是 v2 相对于 v1 变化了多少。正的 delta 意味着候选版本改进了;负的意味着它退步了。

然后是关卡本身。在 CI 里你不会因为噪声而拦截:一个 min_delta 阈值允许候选版本在被拒绝之前下降一个很小的、可以容忍的量(通常是 0.0,意思是"不能变差"):

  • gate(baseline, candidate, min_delta) -> baseline 和 candidate 各是一对 (preds, golds)。把两者都按完全匹配准确率打分,计算 delta = candidate_acc - baseline_acc,并返回 {"pass": bool, "delta": delta, "report": str}。当 delta >= min_delta 时关卡通过,否则失败。

report 是开发者在 CI 日志里看到的一行人类可读的说明。让它说明结果和数字,例如 "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" 或一个 FAIL: ... 的变体。测试会检查报告是否以与布尔值相符的 PASS 或 FAIL 开头,并提到两个准确率,所以具体措辞由你决定,但事实必须在里面。

具体来说:基线为 0.8、候选版本为 0.6,min_delta=0.0 -> delta -0.2,关卡失败,合并被拦下。把它们换过来,候选版本就改进了 -> 关卡通过。这一个布尔值就是你接进 CI 的东西,它把"这个提示词好像更好了"变成"这个提示词可以证明没有变差,否则构建就是红的"。按 Run,为一次改进和一次退步把关。

轮到你了

构建 CI 回归关卡。写 compare(v1_preds, v2_preds, golds),返回 {"v1", "v2", "delta"},其中每个值都是完全匹配准确率(等于去掉两端空白的标准答案的预测所占比例),delta = v2 - v1。写 gate(baseline, candidate, min_delta),接收两对 (preds, golds),返回 {"pass": bool, "delta": float, "report": str},当且仅当 delta >= min_delta 时通过。报告必须以 PASS/FAIL 开头(与布尔值相符),并提到两个准确率,每个都写成三位小数("%.3f",所以 0.5 显示为 0.500)。退步必须让关卡失败;改进必须通过。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。