评估提示词(在标准答案集上的准确率)
"新的提示词感觉更好"不是一个答案。要想知道,你得保留一个标准答案集:输入配上你信得过的正确输出。你让提示词跑过这些输入,把每个预测和它的标准答案比较,然后报告一个数字。正是这个数字,让你在比较提示词 v1 和 v2 时不至于自欺欺人。
你要构建打分器。score_prediction(pred, gold) 匹配时返回 1.0,否则返回 0.0,比较时不区分大小写并忽略两端空白,因为在实践中 "Yes"、"yes" 和 " yes " 都是同一个答案。
evaluate(predictions, golds) 同步走过两个列表,给每一对打分,并返回一份摘要:
evaluate(["yes", "NO", "maybe"], ["yes", "no", "yes"])
# {"accuracy": 0.6667, "correct": 2, "total": 3}把 accuracy 四舍五入到 4 位小数。让空集是安全的:零个标准答案返回 {"accuracy": 0.0, "correct": 0, "total": 0},而不是除以零,因为评测集会被过滤得越来越小,你不希望评测工具在一个空的切片上崩溃。
其中一个隐藏的测试会在 50 组随机生成的预测/标准答案集上运行你的 evaluate,并和测试里算出的一个参考值比较。一张记录可见用例的查找表撑不过那个测试,这正是重点:你在构建一个真正的打分器,而不是背答案。按 Run 评分。
写 score_prediction(pred, gold),如果两者在忽略大小写和两端空白后匹配就返回 1.0,否则返回 0.0。写 evaluate(predictions, golds),在配对的列表上返回 {"accuracy", "correct", "total"},准确率四舍五入到 4 位小数,空集返回全零(不会崩溃)。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。