提示词回归关卡
你有了打分器(完全匹配、F1、LLM 评判)。最后一块把它们变成一个关卡:一个你的 CI 在每次提示词改动时都会运行的是/否决定,这样一次"小调整"就永远不能悄悄让事情变差。这就是衡量质量和捍卫质量之间的区别。
(这里的"回归"指变得更差,是日常软件开发中的意思,而不是机器学习模块里的那种建模技术。)
你在同一个评测集上比较两次运行:基线(生产环境里的提示词)和候选(你的改动),它们是两个由 [0, 1] 之间的逐例分数组成的列表。除非越过三道门槛,否则关卡会拦下这次改动:
- 整体没有下降:候选版本的平均分至少是基线的平均分(一点点容差用来吸收噪声)。
- 新失败很少:候选版本比基线得分更低的例子数保持在预算之内(一个大胜利不能掩盖好几个悄无声息的退步)。
- 一个底线:如果你设置了的话,一个绝对的最低平均分。
构建 regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None),返回一个报告字典,包含 baseline_mean、candidate_mean、delta(候选减去基线)、regressions(满足 candidate[i] < baseline[i] - 1e-9 的索引数)和 passed(一个布尔值,只有越过所有门槛时才为 True)。两个列表长度相同。按 Run 为一个候选提示词把关。
在两个等长的逐例分数列表上写 regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None)。返回 {"baseline_mean", "candidate_mean", "delta", "regressions", "passed"},其中 delta = candidate_mean - baseline_mean,regressions 统计满足 candidate[i] < baseline[i] - 1e-9 的索引,而 passed 只有在 candidate_mean >= baseline_mean - tol 并且 regressions <= max_regressions 并且(min_mean is None 或 candidate_mean >= min_mean)时才为 True。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。