课程大纲 第 92 课,共 250 课 · 你的第一批机器学习模型
你的第一批机器学习模型

不止准确率:精确率、召回率与 F1

你在上一课看到了这个陷阱:如果 95% 的邮件都不是垃圾邮件,一个总是猜"不是垃圾邮件"的模型准确率能有 0.95,却一封垃圾邮件也没抓到。在任何不平衡的问题上,准确率都会说谎。解决办法是用混淆矩阵看看模型犯的是哪一类错误。

对于一个是/否分类器(标签 1 = 正类,例如"垃圾邮件"),每个预测都落进四个格子之一:

TP  true positive   predicted 1, actually 1   (caught real spam)
FP  false positive  predicted 1, actually 0   (flagged a good email)
FN  false negative  predicted 0, actually 1   (missed real spam)
TN  true negative   predicted 0, actually 0   (left a good email alone)

从这些计数中会得出三个数,它们才是真正的团队实际报告的东西:

  • 精确率 = TP / (TP + FP)。在你标记出来的所有东西里,有多少是对的?精确率低 = 狼来了。
  • 召回率 = TP / (TP + FN)。在你本该抓到的所有东西里,你抓到了多少?召回率低 = 漏掉了真实的情况。
  • F1 = 2 * P * R / (P + R),即调和平均数。只有当精确率和召回率都高时它才会高,所以那个全部判为负类的偷懒模型(召回率 0)的 F1 = 0,原形毕露。

精确率和召回率此消彼长:什么都标记,召回率达到 1.0,但精确率暴跌;什么都不标记,精确率无法定义,你也什么都没抓到。F1 让你保持诚实。当分母为零时(你没有预测任何正类,或者根本没有正类),把这个指标报告为 0.0,而不是除以零。

写两个函数。confusion(y_true, y_pred) 在两个等长的 0/1 标签列表上返回元组 (tp, fp, fn, tn)。prf(y_true, y_pred) 返回由这些计数算出的 {"precision", "recall", "f1"}(任何分母为零时为 0.0)。隐藏的测试会把你的数字和 scikit-learn 交叉核对,所以定义必须完全准确。按 Run 给一个不平衡的分类器打分。

轮到你了

写 confusion(y_true, y_pred),对两个等长的 0/1 标签列表(1 是正类)返回 (tp, fp, fn, tn);再写 prf(y_true, y_pred),返回 {"precision", "recall", "f1"},其中 precision = TP/(TP+FP),recall = TP/(TP+FN),f1 = 2*P*R/(P+R)。任何分母为零的指标都返回 0.0(永远不要除以零)。你的结果会和 scikit-learn 交叉核对。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。