在有噪声的数据上做回归
在前面的一课里,你在一条完美的直线(y = 2x)上拟合了一条线,误差为零。感觉很棒,但某种程度上那是一个谎言:真实数据从来不是一条干净的直线。传感器会抖动,人的行为难以预测,测量会四舍五入。诚实的回归是穿过一团只大致沿着某个趋势分布的点拟合一条线,然后报告你仍然偏差多远。这一课讲的就是怎样面不改色地读懂这些误差数字。
制造逼真的数据
我们从一个真实的关系 y = 3x + 7 出发,然后加上高斯噪声,也就是从钟形曲线里抽取的小随机抖动,这样就没有一个点正好落在直线上:
rng = np.random.RandomState(42)
x = np.linspace(0, 10, 200)
noise = rng.normal(0, 2.0, size=x.shape) # mean 0, spread 2.0
y = 3 * x + 7 + noise
X = x.reshape(-1, 1) # sklearn wants 2-D features固定的种子意味着每个人抽到的噪声都一样,所以下面的数字可以重现和检查。模型从来看不到真实的斜率 3 或截距 7;它的工作是从有噪声的点中把它们恢复出来。
拟合、预测,并诚实地衡量
还是那个仪式,但我们在留出的测试集上评分:
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error, r2_score
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=0)
model = LinearRegression().fit(X_train, y_train)
preds = model.predict(X_test)
mae = mean_absolute_error(y_test, preds)
r2 = r2_score(y_test, preds)这些数字的含义
- 恢复出的直线。
model.coef_[0]接近 3,model.intercept_接近 7。模型从噪声底下挖出了真实的趋势,但并不完美:接近,而不精确。 - MAE 不再是零。这里它大约是 1.8,意味着一次典型的预测和真实值之间大约差 1.8 个
y的单位。这不是 bug。数据里本来就有分布宽度为 2.0 的噪声,一些误差是不可避免的:正的 MAE 是真实数据的诚实代价。对比前面那条完美的直线,那里的 MAE 按构造约为 0。 - R 平方低于 1。
r2_score衡量模型解释了多大比例的变化:1.0 是完美,0 就和猜平均值一样。这里它大约是 0.95:很高,因为有很强的线性信号,但严格低于 1.0,因为噪声永远无法被解释掉。在真实数据上报告恰好 1.0 的 R 平方是一个危险信号,通常说明你不小心在训练数据上做了测试。 - 残差告诉你偏差是否公平。残差是某一个点的
actual - predicted。它们的平均值应该接近 0:这说明模型没有系统性地偏高或偏低,只是像对称的噪声那样在直线上下散布。离 0 很远的残差平均值意味着模型有偏差。
所以这里要交付的是一组诚实的数字,而不是一个神奇的零。按 Run 拟合直线,并打印恢复出的斜率、MAE、R 平方和残差平均值。
用 y = 3x + 7 加上高斯噪声构造有噪声的数据(rng = np.random.RandomState(42)、x = np.linspace(0, 10, 200)、noise = rng.normal(0, 2.0, size=x.shape)、X = x.reshape(-1, 1))。用 train_test_split(X, y, test_size=0.2, random_state=0) 划分,拟合一个名为 model 的 LinearRegression,在测试集上预测,然后把 mae(平均绝对误差)、r2(r2_score)和 resid_mean(y_test - preds 的平均值)存为浮点数。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。