课程大纲 第 169 课,共 250 课 · LLM 评测与测试
LLM 评测与测试

LLM 当评判(构建评分标准 + 解析结论)

完全匹配、F1 和 ROUGE 都需要一个可以比较的标准答案。但对于开放式的输出,"这个解释清楚吗?""语气专业吗?",并没有单一的正确字符串。业界最终选定的可扩展答案是 LLM 当评判:你把答案加上一份评分标准交给第二个模型,让它给每条标准打分。在一份定义清楚的评分标准上,它和人类评分者的一致率常常落在 80-90% 的范围内,但这在不同任务之间差别很大,在微妙或对抗性的情况下还可能急剧下降,所以把任何单一的数字都当作与任务相关的,而不是一条定律。即便如此,它通常也足够稳定,可以每晚在成千上万的输出上运行,只要你定期用人类标签抽查它。

这是诚实的部分,也是这一课能够评分的原因。评判真正的打分是一次模型调用,而模型调用是非确定性的,所以我们从不给它们评分。你要设计、也就是你被评分的,是围绕这次调用的确定性脚手架:构建评判提示词和把结论解析出来。在生产环境里,中间那一步是一次真正的调用:

# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)

本课程里的设备端 WebLLM 可以在浏览器里实时扮演评判,但测试从不依赖它。它们检查的是你构建的提示词和你写的解析器。

提示词必须把评判约束住:说明角色,列出编了号的评分标准,展示答案,并要求一个机器可读的结论,这样你才能解析它。标准的技巧是强制每条标准一行、形状固定,这里是 score: N/5:

You are a strict grader. Score the answer against the rubric.

RUBRIC:
1. Is it factually correct?
2. Is it concise?

ANSWER:
<the answer text>

For each rubric item, reply on its own line as 'score: N/5'.

解析就是用正则表达式扫一遍每一行 score: N/5(不区分大小写),取出其中的整数。汇总把一个分数列表变成一个平均值和一个通过率:达到或超过阈值的分数所占的比例。通过率才是你要据此告警的东西;一批里有一个坏答案是噪声,通过率不断下滑才是回归。

要构建什么。

  • build_judge_prompt(answer, rubric) -> 一个包含每条编了号的评分标准、答案以及 score: N/5 指令的提示词字符串。
  • parse_judge_scores(text) -> 按顺序从每一行 score: N/5 中取出的整数列表,不区分大小写。
  • aggregate(scores, threshold=3) -> {"mean", "pass_rate"}(都用 round 保留 4 位小数);空列表返回零。

按 Run 构建一个评判提示词,解析一份示例结论,并做汇总。

轮到你了

写 build_judge_prompt(answer, rubric),返回一个提示词字符串,它包含每条编了号的评分标准、答案文本,以及一条要求对每一项回复 score: N/5 的指令。写 parse_judge_scores(text),按顺序返回从每一行 score: N/5 中取出的整数列表(不区分大小写)。写 aggregate(scores, threshold=3),返回保留 4 位小数的 {'mean', 'pass_rate'},其中 pass_rate 是 >= threshold 的分数所占的比例,空列表返回零。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。