课程大纲 第 168 课,共 250 课 · LLM 评测与测试
LLM 评测与测试

分类中的准确率与精确率/召回率/F1

LLM 工作中有很大一部分其实是分类:分派这张工单,标注这个情感,把这条消息标为垃圾信息。对于这些任务,单看准确率是一个陷阱。在一个 95% 都是正常邮件的邮箱上做垃圾邮件过滤器,一个把所有东西都标为正常邮件的模型能得 95% 的准确率,却一封垃圾邮件也没抓到。数字看起来很棒;产品却毫无用处。要看清这一点,你需要为你真正关心的那个类别分别算出精确率、召回率和 F1。

选一个正类(比如 spam),然后数四个桶:

  • TP 真阳性:预测为垃圾邮件,确实是垃圾邮件。
  • FP 假阳性:预测为垃圾邮件,其实是正常邮件(一封好邮件被扔进了垃圾箱)。
  • FN 假阴性:预测为正常邮件,其实是垃圾邮件(溜过去的垃圾邮件)。
precision = TP / (TP + FP)   # of what I flagged, how much was right
recall    = TP / (TP + FN)   # of the real positives, how many I caught
f1        = 2 * P * R / (P + R)
accuracy  = correct / total  # all classes, all predictions

它们朝不同的方向拉扯。激进地标记,召回率上升而精确率下降;保守地标记则相反。F1 是那个不让任何一边崩塌的单一数字。在不平衡的集合上,准确率和 F1 会严重背离,这正是要分别计算它们的全部意义。

你要亲手实现它们,因为这些公式值得你在面试时脱口而出。但当有经过测试的库存在时,你永远不应该交付手写的指标,所以测试还会把你的数字和 scikit-learn 的 precision_score、recall_score 和 f1_score 进行核对。如果你和 sklearn 一致,你就实现对了。

from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")

要构建什么。classification_metrics(y_true, y_pred, positive_label),返回一个字典 {"accuracy", "precision", "recall", "f1"},各自用 round 保留 4 位小数。防住分母为零的情况(没有预测为正类的、没有实际为正类的),为那个指标返回 0.0,而不是除以零。按 Run 打印一份报告,看准确率和 F1 在一个不平衡的集合上意见不一。

轮到你了

写 classification_metrics(y_true, y_pred, positive_label),为选定的正类返回 {'accuracy', 'precision', 'recall', 'f1'},各自用 round 保留 4 位小数。对照 positive_label 统计 TP/FP/FN;precision = TP/(TP+FP),recall = TP/(TP+FN),f1 = 调和平均数,accuracy = 正确数/总数。任何分母为零的指标都返回 0.0。你的数字必须和 scikit-learn 的 precision_score/recall_score/f1_score 一致。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。