课程大纲 第 87 课,共 246 课 · 第 7 模块:在新数据上工作
第 7 模块:在新数据上工作

偏差和方差,以及作为先验的权重衰减

为什么重要 过拟合会以一种差距的形式显现:训练误差远低于在新数据上的误差。在每一个这样的差距背后,都有两个可测量的原因,而它们需要不同的疗法。

从同一个来源抽取五个新的训练集,并在每一个上拟合同一种模型。看一看在某一个点上的五个预测:

  • 如果它们都一致,但都以同样的方式出错:高偏差(太简单)。
  • 如果它们彼此之间分歧很大:高方差(太灵活,在追逐每个集合的噪声)。

方差是当训练数据改变时模型会改变多少。高方差是过拟合的常见原因,但这两个词不是一回事:过拟合是你看到的差距,而方差是你能在它背后测量的一样东西。

作为先验的权重衰减

权重衰减会在损失上加上 alpha * (sum of weights squared)。用概率的话来说,它是在看到数据之前就说“我相信小的权重更有可能”。这种信念会把狂野的拟合拉向平静的拟合,降低方差,代价是一点点偏差。对于多项式拟合,它有一个被称为岭回归的精确解:w = solve(A.T A + alpha I, A.T y),其中 A 保存着 x 的各次幂。

先验:在看到数据之前你对权重的看法。权重衰减是一个偏爱小权重的先验。

本课中的词语和符号
过拟合、欠拟合
拟合了训练数据中的噪声;或者太简单而拟合不了模式
偏差、方差
每次都以同样的方式出错;或者随着训练数据变化很大
先验
在看到数据之前你对权重的看法
岭回归(alpha)
带有强度为 alpha 的权重衰减的最小二乘法
轮到你了

编写 ridge_poly(x, y, deg, alpha),返回系数(最低次幂在前,使用上面的公式),以及 spread_at_half(deg, alpha):拟合五个训练集(种子 0 到 4,每个 20 个点,由 make_set 生成),并返回五个预测在 x = 0.5 处的标准差。然后把 high_variance 设为次数 1、3 或 12(alpha 为 0)中离散程度最大的那一个。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。