课程大纲 第 166 课,共 250 课 · LLM 评测与测试
LLM 评测与测试

基于断言的评测(完全匹配与包含)

你改了提示词,输出"感觉更好了"。这种感觉不是结果。评测的任务就是用一个你能写进拉取请求的数字来取代它:这个提示词在标准答案集上得 0.86,旧的得 0.74。在你去找任何花哨的东西之前,主力评测就是最便宜的那个:拿一组带已知正确答案的带标签输入,运行你的系统,数一数它答对了多少。

难点在于决定"对"是什么意思。LLM 几乎从不逐字节地返回标准答案字符串。它会加个句号,把某个词大写,或者把答案包在一句话里。所以你要选一种匹配模式:

  • exact -> 规范化之后(转成小写,去掉两端空白),预测等于标准答案。用于简短、封闭的答案:一个标签、一个是/否、一个城市。
  • contains -> 标准答案出现在预测里面的某处。用于允许模型话多一点的情况:"The capital is Paris." 对于标准答案 paris 仍然应该算对。

规范化很重要。没有它,"Paris" 和 "paris" 会被算作没命中,你的评测就在对你撒谎。下面是一次比较的形状:

def score_one(pred, gold, mode):
    p = pred.strip().lower()
    g = gold.strip().lower()
    if mode == "exact":
        return 1.0 if p == g else 0.0
    if mode == "contains":
        return 1.0 if g in p else 0.0
    raise ValueError("unknown mode: " + mode)

准确率就是这些逐例分数的平均值。在真实的评测工具里,predictions 来自一次在线的模型调用;在这里,你被评分的是打分的数学,也就是必须完全正确的那部分。每个注重安全的评测工具里还有两项检查:一个允许列表(每个输出都必须是一组固定标签之一)和一个禁用模式扫描(任何输出都不能包含像 "as an AI" 这样被禁止的短语)。

要构建什么。

  • evaluate(predictions, gold, mode) -> 在两个平行列表上的完全匹配或包含分数的平均值,用 round 保留 4 位小数。空列表返回 0.0,永远不会崩溃。遇到未知的模式时抛出 ValueError。
  • label_in_set(outputs, allowed) -> {"passed", "failed"},数出有多少个去掉两端空白的输出在 allowed 集合里。
  • has_forbidden(text, patterns) -> 如果在 text 里找到了 patterns 中的任何正则表达式,就为 True。

按 Run 在两种模式下给一个标准答案集打分。

轮到你了

写 evaluate(predictions, gold, mode),返回两个平行列表上的平均分数,其中 mode 是 'exact'(规范化后相等)或 'contains'(标准答案出现在预测里面);用 strip().lower() 规范化,把准确率用 round 保留 4 位小数,空集返回 0.0,遇到未知的模式时抛出 ValueError。再写 label_in_set(outputs, allowed) -> {'passed', 'failed'},把去掉两端空白的输出和 allowed 集合对照计数,以及 has_forbidden(text, patterns) -> 如果在 text 里找到了任何正则模式(忽略大小写)就为 True(这样 as an ai 也能抓住 "As an AI")。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。