基于断言的评测(完全匹配与包含)
你改了提示词,输出"感觉更好了"。这种感觉不是结果。评测的任务就是用一个你能写进拉取请求的数字来取代它:这个提示词在标准答案集上得 0.86,旧的得 0.74。在你去找任何花哨的东西之前,主力评测就是最便宜的那个:拿一组带已知正确答案的带标签输入,运行你的系统,数一数它答对了多少。
难点在于决定"对"是什么意思。LLM 几乎从不逐字节地返回标准答案字符串。它会加个句号,把某个词大写,或者把答案包在一句话里。所以你要选一种匹配模式:
- exact -> 规范化之后(转成小写,去掉两端空白),预测等于标准答案。用于简短、封闭的答案:一个标签、一个是/否、一个城市。
- contains -> 标准答案出现在预测里面的某处。用于允许模型话多一点的情况:"The capital is Paris." 对于标准答案
paris仍然应该算对。
规范化很重要。没有它,"Paris" 和 "paris" 会被算作没命中,你的评测就在对你撒谎。下面是一次比较的形状:
def score_one(pred, gold, mode):
p = pred.strip().lower()
g = gold.strip().lower()
if mode == "exact":
return 1.0 if p == g else 0.0
if mode == "contains":
return 1.0 if g in p else 0.0
raise ValueError("unknown mode: " + mode)准确率就是这些逐例分数的平均值。在真实的评测工具里,predictions 来自一次在线的模型调用;在这里,你被评分的是打分的数学,也就是必须完全正确的那部分。每个注重安全的评测工具里还有两项检查:一个允许列表(每个输出都必须是一组固定标签之一)和一个禁用模式扫描(任何输出都不能包含像 "as an AI" 这样被禁止的短语)。
要构建什么。
evaluate(predictions, gold, mode)-> 在两个平行列表上的完全匹配或包含分数的平均值,用round保留 4 位小数。空列表返回0.0,永远不会崩溃。遇到未知的模式时抛出ValueError。label_in_set(outputs, allowed)->{"passed", "failed"},数出有多少个去掉两端空白的输出在allowed集合里。has_forbidden(text, patterns)-> 如果在text里找到了patterns中的任何正则表达式,就为True。
按 Run 在两种模式下给一个标准答案集打分。
写 evaluate(predictions, gold, mode),返回两个平行列表上的平均分数,其中 mode 是 'exact'(规范化后相等)或 'contains'(标准答案出现在预测里面);用 strip().lower() 规范化,把准确率用 round 保留 4 位小数,空集返回 0.0,遇到未知的模式时抛出 ValueError。再写 label_in_set(outputs, allowed) -> {'passed', 'failed'},把去掉两端空白的输出和 allowed 集合对照计数,以及 has_forbidden(text, patterns) -> 如果在 text 里找到了任何正则模式(忽略大小写)就为 True(这样 as an ai 也能抓住 "As an AI")。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。