课程大纲 第 167 课,共 250 课 · LLM 评测与测试
LLM 评测与测试

Token-F1 与 ROUGE 式的重叠

对于任何比标签更长的东西,完全匹配都很残酷。问一个模型"谁画了蒙娜丽莎,什么时候画的?",标准答案是 "Leonardo da Vinci, around 1503"。模型说 "It was painted by Leonardo da Vinci in roughly 1503."。完全匹配给它打零分。它显然是个好答案。对于自由文本的答案,你需要部分得分的打分方式,两个标准工具是 token-F1 和 ROUGE。

Token-F1 把每个答案当作一袋词,问它们重叠了多少。转成小写,按空白拆分,然后比较两个词元集合:

  • 精确率 =(两边都有的词元)/(预测里的词元)-> 惩罚用垃圾内容填充答案。
  • 召回率 =(两边都有的词元)/(标准答案里的词元)-> 惩罚漏掉标准答案里的词。
  • F1 = 调和平均数,2 * P * R / (P + R) -> 一个会惩罚任何一边薄弱的数字。

完全相同的字符串得 1.0;没有共同词的答案得 0.0。手算一个:预测 "the cat ran",标准答案 "the dog sat"。唯一共有的词元是 the,所以精确率是 1/3,召回率是 1/3,F1 是 1/3。

ROUGE-N 是给摘要评分用的指标。它不数单个的词,而是数重叠的 n-gram(连续的 n 个词元),并报告召回率:在标准答案的 n-gram 里,有多少出现在预测中?

def ngrams(tokens, n):
    return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]

对于标准答案 "the cat sat on" 和预测 "the cat sat":标准答案的四个一元组是 the, cat, sat, on;出现了三个,所以 ROUGE-1 是 3/4。标准答案的三个二元组是 (the,cat), (cat,sat), (sat,on);出现了两个,所以 ROUGE-2 是 2/3。ROUGE-2 通常比 ROUGE-1 低,因为匹配词的顺序比匹配词更难,这正是你要两个都报告的原因。

要构建什么。

  • token_f1(pred, gold) -> 小写词元集合上的 F1;任何一边为空或没有重叠时返回 0.0(永远不要除以零)。
  • rouge_n(pred, gold, n) -> 标准答案的 n-gram 中出现在预测里的比例;标准答案没有 n-gram 时为 0.0。

这和库有什么不同。为了教学,我们在词元集合上打分,所以一个重复的词只算一次。生产环境的 token-F1(SQuAD 风格)使用多重集计数,所以重复的词会被加权;而真正的 ROUGE 还加了 ROUGE-L,它给最长公共子序列打分,而不是固定的 n-gram。思想是一样的;生产版本只是更仔细地计算重复和词序。

按 Run 对照一个参考答案给预测打分。

轮到你了

写 token_f1(pred, gold),计算两个小写词元集合的 F1(精确率 = 重叠 / 预测词元数,召回率 = 重叠 / 标准答案词元数,F1 = 调和平均数),任何一边为空或没有重叠时返回 0.0。写 rouge_n(pred, gold, n),返回标准答案的 n-gram(连续 n 个词元组成的元组)中出现在预测里的比例,标准答案没有 n-gram 时返回 0.0。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。