评估模型:准确率与误差
一个训练好的模型,在你能说出它有多好之前都是没用的。合适的分数取决于你在预测什么。
分类:准确率
当标签是一个类别(是否垃圾邮件,物种 A/B/C)时,最简单的分数是准确率:预测正确的比例。
from sklearn.metrics import accuracy_score
acc = accuracy_score(y_true, y_pred) # e.g. 0.875 means 7 of 8 right准确率在 0 到 1 之间。但"好"是相对的。如果 95% 的邮件都不是垃圾邮件,一个总是猜"不是垃圾邮件"的偷懒模型就已经能得 0.95,却一封垃圾邮件也没抓到。在为一个数字欢呼之前,总要先和这种朴素的基线比较一下。
回归:误差
当标签是一个连续的数(价格、温度)时,准确率没有意义,你几乎永远不会预测出完全准确的值。你要衡量的是偏差有多远。一个常见的选择是平均绝对误差,也就是偏差的平均大小:
from sklearn.metrics import mean_absolute_error
mae = mean_absolute_error(y_true, y_pred) # in the same units as yMAE 的单位就是标签本身的单位,这让它很容易读懂:在以千为单位的房价上 MAE 为 12,意味着平均偏差大约 12k。越低越好,0 是完美。
两者你都要计算:用给定的预测算准确率,再用一个在一条完美直线上拟合的小线性回归算 MAE(所以它的误差应该基本为零)。
第 1 部分:给定数组 y_true 和 y_pred(各 8 个标签,恰好有一处不同)。设 acc = accuracy_score(y_true, y_pred)。第 2 部分:X 和 target 描述的是直线 y = 2x。在它们上面拟合一个名为 reg 的 LinearRegression,在 X 上预测得到 reg_pred,然后设 mae = mean_absolute_error(target, reg_pred)。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。