分类中的准确率与精确率/召回率/F1
LLM 工作中有很大一部分其实是分类:分派这张工单,标注这个情感,把这条消息标为垃圾信息。对于这些任务,单看准确率是一个陷阱。在一个 95% 都是正常邮件的邮箱上做垃圾邮件过滤器,一个把所有东西都标为正常邮件的模型能得 95% 的准确率,却一封垃圾邮件也没抓到。数字看起来很棒;产品却毫无用处。要看清这一点,你需要为你真正关心的那个类别分别算出精确率、召回率和 F1。
选一个正类(比如 spam),然后数四个桶:
- TP 真阳性:预测为垃圾邮件,确实是垃圾邮件。
- FP 假阳性:预测为垃圾邮件,其实是正常邮件(一封好邮件被扔进了垃圾箱)。
- FN 假阴性:预测为正常邮件,其实是垃圾邮件(溜过去的垃圾邮件)。
precision = TP / (TP + FP) # of what I flagged, how much was right
recall = TP / (TP + FN) # of the real positives, how many I caught
f1 = 2 * P * R / (P + R)
accuracy = correct / total # all classes, all predictions它们朝不同的方向拉扯。激进地标记,召回率上升而精确率下降;保守地标记则相反。F1 是那个不让任何一边崩塌的单一数字。在不平衡的集合上,准确率和 F1 会严重背离,这正是要分别计算它们的全部意义。
你要亲手实现它们,因为这些公式值得你在面试时脱口而出。但当有经过测试的库存在时,你永远不应该交付手写的指标,所以测试还会把你的数字和 scikit-learn 的 precision_score、recall_score 和 f1_score 进行核对。如果你和 sklearn 一致,你就实现对了。
from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")要构建什么。classification_metrics(y_true, y_pred, positive_label),返回一个字典 {"accuracy", "precision", "recall", "f1"},各自用 round 保留 4 位小数。防住分母为零的情况(没有预测为正类的、没有实际为正类的),为那个指标返回 0.0,而不是除以零。按 Run 打印一份报告,看准确率和 F1 在一个不平衡的集合上意见不一。
写 classification_metrics(y_true, y_pred, positive_label),为选定的正类返回 {'accuracy', 'precision', 'recall', 'f1'},各自用 round 保留 4 位小数。对照 positive_label 统计 TP/FP/FN;precision = TP/(TP+FP),recall = TP/(TP+FN),f1 = 调和平均数,accuracy = 正确数/总数。任何分母为零的指标都返回 0.0。你的数字必须和 scikit-learn 的 precision_score/recall_score/f1_score 一致。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。