课程大纲 第 236 课,共 250 课 · 项目:提示词评测 CI
项目:提示词评测 CI

标准答案集 + 打分器

你上线了一个新提示词,它感觉更好了。你的团队负责人问了唯一重要的问题:好了多少?你怎么知道?"感觉"过不了代码审查。你的任务是把一个模糊的说法变成一个你能为之辩护的数字,而每个提示词评测工具的基础,是一个标准答案集(一组输入,配上它们已知的正确答案)加上一个打分器(一个说明模型的答案离标准答案有多近的函数)。

这是一个三部分项目的第 1 课。到本模块结束时,你会拥有一个真正的带 CI 回归关卡的提示词评测工具,也就是招聘经理在简历上看到"构建了一个提示词评测工具 + 回归关卡",就立刻知道你能负责任地交付 LLM 功能的那种东西。今天你构建的是量尺:三个打分器,以及把其中一个应用到整个标准答案集上的运行器。

关于范围说一句实话:你在这里构建的评测工具和回归关卡逻辑是真实的、可迁移的,但评判模型是模拟的,而这里的"准确率"是完全匹配。在真实的项目里,你会把这些同样的部件接到一个在线的评判模型和更丰富的打分器上。

不同的任务需要不同的打分器,所以你要构建三个:

  • score_exact(pred, gold) -> 如果两边都 .strip() 之后预测等于标准答案,就为 1.0,否则为 0.0。这对分类器("positive" vs "negative")是正确的选择,因为只有完全匹配才算数。
  • score_contains(pred, gold) -> 如果标准答案字符串出现在预测里的任何位置(不区分大小写,两边都去掉两端空白),就为 1.0,否则为 0.0。适合"答案有没有提到关键事实?"这类允许多出词的检查。
  • token_f1(pred, gold) -> 一个基于词重叠、在 [0.0, 1.0] 之间的部分得分,它是自由文本答案的主力,在那里差一点应该胜过完全错误。

token F1 的原理。把两个字符串都转成小写并拆成词元。数一数它们共有多少个词元,要考虑重复(把词元列表当作多重集,所以 collections.Counter 和它的 & 交集是你的好帮手)。然后:

overlap   = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens)   # of the words I said, how many were right?
recall    = overlap / len(gold_tokens)   # of the words I should have said, how many did I?
f1        = 2 * precision * recall / (precision + recall)

举个例子:pred="the quick brown fox",gold="the lazy brown dog"。它们共有 the 和 brown,重叠为 2。精确率是 2/4,召回率是 2/4,所以 F1 是 0.5。注意边界:如果任何一边没有词元,或者重叠为零,F1 就是 0.0(永远不要除以零)。

最后是把一个打分器变成一次评测的运行器:

  • run_suite(predictions, golds, scorer) -> 用给定的 scorer 函数给每一对 (pred, gold) 打分,并返回 {"score": mean_score, "per_case": [list of each case's score]}。空测试集的平均分是 0.0。

把打分器传进去(而不是硬编码它),正是让一个评测工具既能给完全匹配的分类器打分、也能给自由文本答案打分的设计。按 Run,用三种不同的方式给一个小小的标准答案集打分。

轮到你了

构建提示词评测工具的打分核心。写 score_exact(pred, gold)(去掉两端空白后完全匹配为 1.0,否则为 0.0)、score_contains(pred, gold)(如果去掉两端空白并转成小写的标准答案是预测的子串,就为 1.0,否则为 0.0)和 token_f1(pred, gold)(在转成小写的词元上计算词元重叠 F1,任何一边为空或没有重叠时为 0.0)。然后写 run_suite(predictions, golds, scorer),返回 {"score": mean, "per_case": [scores]}(空测试集的平均分为 0.0)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。