回归关卡
这是压轴之作,也是你简历上的那一行:构建了一个提示词评测工具 + 回归关卡。你有了打分器(第 1 课)和评判解析器(第 2 课)。现在你要接上让它成为 CI 的那一块:一个在每次提示词改动时运行、并在质量下降时拦下合并的关卡。正是它阻止了队友的"小调整"在生产环境里悄悄拖垮准确率,它是一个永远不会累的自动审阅者。
模型是这样的:你有一个标准答案集,还有一个提示词的两个版本,每个版本都在这个集合上产生一个预测列表。这里的准确率就是和标准答案(去掉两端空白后)完全匹配的预测所占的比例。首先,比较两者:
compare(v1_preds, v2_preds, golds)->{"v1": acc1, "v2": acc2, "delta": acc2 - acc1},其中每个准确率都是相对于golds的完全匹配率,delta是 v2 相对于 v1 变化了多少。正的 delta 意味着候选版本改进了;负的意味着它退步了。
然后是关卡本身。在 CI 里你不会因为噪声而拦截:一个 min_delta 阈值允许候选版本在被拒绝之前下降一个很小的、可以容忍的量(通常是 0.0,意思是"不能变差"):
gate(baseline, candidate, min_delta)->baseline和candidate各是一对(preds, golds)。把两者都按完全匹配准确率打分,计算delta = candidate_acc - baseline_acc,并返回{"pass": bool, "delta": delta, "report": str}。当delta >= min_delta时关卡通过,否则失败。
report 是开发者在 CI 日志里看到的一行人类可读的说明。让它说明结果和数字,例如 "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" 或一个 FAIL: ... 的变体。测试会检查报告是否以与布尔值相符的 PASS 或 FAIL 开头,并提到两个准确率,所以具体措辞由你决定,但事实必须在里面。
具体来说:基线为 0.8、候选版本为 0.6,min_delta=0.0 -> delta -0.2,关卡失败,合并被拦下。把它们换过来,候选版本就改进了 -> 关卡通过。这一个布尔值就是你接进 CI 的东西,它把"这个提示词好像更好了"变成"这个提示词可以证明没有变差,否则构建就是红的"。按 Run,为一次改进和一次退步把关。
构建 CI 回归关卡。写 compare(v1_preds, v2_preds, golds),返回 {"v1", "v2", "delta"},其中每个值都是完全匹配准确率(等于去掉两端空白的标准答案的预测所占比例),delta = v2 - v1。写 gate(baseline, candidate, min_delta),接收两对 (preds, golds),返回 {"pass": bool, "delta": float, "report": str},当且仅当 delta >= min_delta 时通过。报告必须以 PASS/FAIL 开头(与布尔值相符),并提到两个准确率,每个都写成三位小数("%.3f",所以 0.5 显示为 0.500)。退步必须让关卡失败;改进必须通过。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。