不止准确率:精确率、召回率与 F1
你在上一课看到了这个陷阱:如果 95% 的邮件都不是垃圾邮件,一个总是猜"不是垃圾邮件"的模型准确率能有 0.95,却一封垃圾邮件也没抓到。在任何不平衡的问题上,准确率都会说谎。解决办法是用混淆矩阵看看模型犯的是哪一类错误。
对于一个是/否分类器(标签 1 = 正类,例如"垃圾邮件"),每个预测都落进四个格子之一:
TP true positive predicted 1, actually 1 (caught real spam)
FP false positive predicted 1, actually 0 (flagged a good email)
FN false negative predicted 0, actually 1 (missed real spam)
TN true negative predicted 0, actually 0 (left a good email alone)从这些计数中会得出三个数,它们才是真正的团队实际报告的东西:
- 精确率 =
TP / (TP + FP)。在你标记出来的所有东西里,有多少是对的?精确率低 = 狼来了。 - 召回率 =
TP / (TP + FN)。在你本该抓到的所有东西里,你抓到了多少?召回率低 = 漏掉了真实的情况。 - F1 =
2 * P * R / (P + R),即调和平均数。只有当精确率和召回率都高时它才会高,所以那个全部判为负类的偷懒模型(召回率 0)的 F1 = 0,原形毕露。
精确率和召回率此消彼长:什么都标记,召回率达到 1.0,但精确率暴跌;什么都不标记,精确率无法定义,你也什么都没抓到。F1 让你保持诚实。当分母为零时(你没有预测任何正类,或者根本没有正类),把这个指标报告为 0.0,而不是除以零。
写两个函数。confusion(y_true, y_pred) 在两个等长的 0/1 标签列表上返回元组 (tp, fp, fn, tn)。prf(y_true, y_pred) 返回由这些计数算出的 {"precision", "recall", "f1"}(任何分母为零时为 0.0)。隐藏的测试会把你的数字和 scikit-learn 交叉核对,所以定义必须完全准确。按 Run 给一个不平衡的分类器打分。
写 confusion(y_true, y_pred),对两个等长的 0/1 标签列表(1 是正类)返回 (tp, fp, fn, tn);再写 prf(y_true, y_pred),返回 {"precision", "recall", "f1"},其中 precision = TP/(TP+FP),recall = TP/(TP+FN),f1 = 2*P*R/(P+R)。任何分母为零的指标都返回 0.0(永远不要除以零)。你的结果会和 scikit-learn 交叉核对。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。