课程大纲 第 91 课,共 246 课 · 第 7 模块:在新数据上工作
第 7 模块:在新数据上工作

双重下降

为什么重要 教科书上“参数越多就越过拟合”的规则在大模型上失效了。看清楚为什么,会改变你思考模型规模的方式。

看一看

播放动画。我们只用 400 个可用特征中的前 p 个去拟合 40 个训练点,并在精确拟合中选出权重最小的那一个。随着 p 增长到训练点的数量(40),测试误差先是缓慢、然后是陡峭地攀升,恰好在两者相等的地方达到一个峰值。在那里,模型的自由度刚好足以命中每一个训练点,而且只有一种方法能做到,通常是一种狂野的方法。越过峰值之后,就有许多精确拟合,而选出权重最小的那个是一种温和的拟合:测试误差又会下降,而且在特征足够多时,它最终会比小模型更低。

插值阈值:一个模型刚好能精确拟合训练数据时的规模。双重下降在那里达到峰值。

预测曲线:预测测试误差最高时的特征数量,以及 p = 400 是否胜过 p = 5。

诚实地解读这些数字

这个玩具是为了展示曲线的形状而构建的,而不是为了预测得好。它的信号稀薄地分布在全部 400 个特征上,而且只有 40 个训练点,所以这里的每一个模型都很差:对所有东西都预测 0,测试误差的中位数大约是 1.01,p = 5 大约是 1.11,p = 400 大约是 0.91。在 p = 40 处的峰值大约是 36。第二次下降是真实的,但它只比“什么都不预测”稍微低一点。

这个峰值也有一种你已经知道的疗法。用在验证数据上选出强度的权重衰减(岭回归),而不是权重最小的精确拟合,能让误差在每一种规模下都保持在 1.0 附近,包括 p = 40(大约 1.02)。双重下降是发生在精确拟合上的事情;一个调好的正则化方法能去掉这个尖峰。

本课中的词语和符号
过拟合、欠拟合
拟合了训练数据中的噪声;或者太简单而拟合不了模式
岭回归(alpha)
带有强度为 alpha 的权重衰减的最小二乘法
插值阈值
刚好能精确拟合训练数据的模型规模
轮到你了

填写 my_peak 和 my_400_beats_5。然后编写 test_error(p):对种子 0 到 19,用 np.linalg.pinv(X[:, :p]) @ y 做拟合,测量测试均方误差,并返回各种子上的中位数。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。