LLM 当评判:评分标准 + 结论解析
答案一旦变得开放,完全匹配和 token F1 就不灵了。"总结这张工单"有一千个好答案,却没有一个标准答案字符串。业界的变通办法是 LLM 当评判:你让第二个模型对照一份评分标准来读答案,并给出结论。团队正是这样大规模地给聊天机器人、RAG 答案和智能体对话记录打分的。
这是工程上的现实,也是招聘经理会追问的东西:评判是一个语言模型,所以它的回复是杂乱的自由文本。它这一次可能说 VERDICT: PASS,下一次说 Final verdict - fail,有时前面还有一段推理。任何评判工具里脆弱的部分都不是提示词,而是从那段文本里抽出一个干净的、机器可用的结果的解析器。所以在这一课里,评判是模拟的(没有在线模型,没有网络),你构建围绕它的两个确定性部件:评分标准提示词和结论解析器。
构建评分标准提示词。build_rubric(criteria) 接收一个标准字符串列表,返回一个给评判用的提示词字符串。它必须:
- 包含单词
Rubric,让评判知道任务是什么, - 把每条标准各列一行,从 1 开始编号(
1. accuracy、2. clarity……), - 最后告诉评判准确的输出约定:一行
VERDICT: PASS或VERDICT: FAIL,以及一行SCORE: <0-10>。(你是在定义你自己的解析器要读取的格式。)
构建解析器。parse_verdict(judge_text) 扫描评判的原始回复,返回 {"verdict": "PASS" or "FAIL", "score": int}。真实的评判输出逼着你遵守的稳健性规则:
- 不区分大小写:
pass、PASS和Pass都表示 PASS。 - 只有带标签的结论才算数:
VERDICT: PASS、verdict = fail、verdict - pass。推理里一个光秃秃的 "pass" 不是决定:"VERDICT: FAIL. The fix would make it pass." 是 FAIL,而 "this does not pass" 永远不能算作 PASS。当评判写了好几个带标签的结论(它改变了主意)时,最后一个胜出。 - 分数必须是 0 到 10 之间的整数,也就是你的评分标准要求的范围。忽略范围之外的任何东西("SCORE: 85" 是评判违反了约定,而不是一个很好的答案)。在有效的分数中,最后一个胜出。
- 什么有效的都没找到时,返回一个安全的默认值:结论
"FAIL",分数0。一个无法解析的评判回复永远不能悄悄算作通过。
用 re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) 找结论,用 re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I) 找分数,保留 0 到 10 的分数,然后各取最后一个。我们只给解析器和评分标准打分;在这一课里,在线评判调用只是文字说明,测试里从不运行。按 Run 解析几条评判回复。
构建 LLM 当评判的工具中确定性的那一半(评判是模拟的)。写 build_rubric(criteria),返回一个提示词字符串,它包含 Rubric,把每条标准从 1 开始编号、各占一行,并说明 VERDICT: PASS/FAIL + SCORE: <0-10> 的输出约定。写 parse_verdict(judge_text)(分数可能写成 SCORE: 7、score=7 或 Score 7),返回 {"verdict": "PASS"|"FAIL", "score": int}:不区分大小写,只计入带标签的结论(VERDICT: PASS、verdict = fail、verdict - pass)和 0 到 10 之间的分数,各取最后一个,什么都没有时默认为 {"verdict": "FAIL", "score": 0}。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。