课程大纲 第 237 课,共 250 课 · 项目:提示词评测 CI
项目:提示词评测 CI

LLM 当评判:评分标准 + 结论解析

答案一旦变得开放,完全匹配和 token F1 就不灵了。"总结这张工单"有一千个好答案,却没有一个标准答案字符串。业界的变通办法是 LLM 当评判:你让第二个模型对照一份评分标准来读答案,并给出结论。团队正是这样大规模地给聊天机器人、RAG 答案和智能体对话记录打分的。

这是工程上的现实,也是招聘经理会追问的东西:评判是一个语言模型,所以它的回复是杂乱的自由文本。它这一次可能说 VERDICT: PASS,下一次说 Final verdict - fail,有时前面还有一段推理。任何评判工具里脆弱的部分都不是提示词,而是从那段文本里抽出一个干净的、机器可用的结果的解析器。所以在这一课里,评判是模拟的(没有在线模型,没有网络),你构建围绕它的两个确定性部件:评分标准提示词和结论解析器。

构建评分标准提示词。build_rubric(criteria) 接收一个标准字符串列表,返回一个给评判用的提示词字符串。它必须:

  • 包含单词 Rubric,让评判知道任务是什么,
  • 把每条标准各列一行,从 1 开始编号(1. accuracy、2. clarity……),
  • 最后告诉评判准确的输出约定:一行 VERDICT: PASS 或 VERDICT: FAIL,以及一行 SCORE: <0-10>。(你是在定义你自己的解析器要读取的格式。)

构建解析器。parse_verdict(judge_text) 扫描评判的原始回复,返回 {"verdict": "PASS" or "FAIL", "score": int}。真实的评判输出逼着你遵守的稳健性规则:

  • 不区分大小写:pass、PASS 和 Pass 都表示 PASS。
  • 只有带标签的结论才算数:VERDICT: PASS、verdict = fail、verdict - pass。推理里一个光秃秃的 "pass" 不是决定:"VERDICT: FAIL. The fix would make it pass." 是 FAIL,而 "this does not pass" 永远不能算作 PASS。当评判写了好几个带标签的结论(它改变了主意)时,最后一个胜出。
  • 分数必须是 0 到 10 之间的整数,也就是你的评分标准要求的范围。忽略范围之外的任何东西("SCORE: 85" 是评判违反了约定,而不是一个很好的答案)。在有效的分数中,最后一个胜出。
  • 什么有效的都没找到时,返回一个安全的默认值:结论 "FAIL",分数 0。一个无法解析的评判回复永远不能悄悄算作通过。

用 re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) 找结论,用 re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I) 找分数,保留 0 到 10 的分数,然后各取最后一个。我们只给解析器和评分标准打分;在这一课里,在线评判调用只是文字说明,测试里从不运行。按 Run 解析几条评判回复。

轮到你了

构建 LLM 当评判的工具中确定性的那一半(评判是模拟的)。写 build_rubric(criteria),返回一个提示词字符串,它包含 Rubric,把每条标准从 1 开始编号、各占一行,并说明 VERDICT: PASS/FAIL + SCORE: <0-10> 的输出约定。写 parse_verdict(judge_text)(分数可能写成 SCORE: 7、score=7 或 Score 7),返回 {"verdict": "PASS"|"FAIL", "score": int}:不区分大小写,只计入带标签的结论(VERDICT: PASS、verdict = fail、verdict - pass)和 0 到 10 之间的分数,各取最后一个,什么都没有时默认为 {"verdict": "FAIL", "score": 0}。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。