偏差和方差,以及作为先验的权重衰减
为什么重要 过拟合会以一种差距的形式显现:训练误差远低于在新数据上的误差。在每一个这样的差距背后,都有两个可测量的原因,而它们需要不同的疗法。
从同一个来源抽取五个新的训练集,并在每一个上拟合同一种模型。看一看在某一个点上的五个预测:
- 如果它们都一致,但都以同样的方式出错:高偏差(太简单)。
- 如果它们彼此之间分歧很大:高方差(太灵活,在追逐每个集合的噪声)。
方差是当训练数据改变时模型会改变多少。高方差是过拟合的常见原因,但这两个词不是一回事:过拟合是你看到的差距,而方差是你能在它背后测量的一样东西。
作为先验的权重衰减
权重衰减会在损失上加上 alpha * (sum of weights squared)。用概率的话来说,它是在看到数据之前就说“我相信小的权重更有可能”。这种信念会把狂野的拟合拉向平静的拟合,降低方差,代价是一点点偏差。对于多项式拟合,它有一个被称为岭回归的精确解:w = solve(A.T A + alpha I, A.T y),其中 A 保存着 x 的各次幂。
先验:在看到数据之前你对权重的看法。权重衰减是一个偏爱小权重的先验。
本课中的词语和符号
- 过拟合、欠拟合
- 拟合了训练数据中的噪声;或者太简单而拟合不了模式
- 偏差、方差
- 每次都以同样的方式出错;或者随着训练数据变化很大
- 先验
- 在看到数据之前你对权重的看法
- 岭回归(alpha)
- 带有强度为 alpha 的权重衰减的最小二乘法
编写 ridge_poly(x, y, deg, alpha),返回系数(最低次幂在前,使用上面的公式),以及 spread_at_half(deg, alpha):拟合五个训练集(种子 0 到 4,每个 20 个点,由 make_set 生成),并返回五个预测在 x = 0.5 处的标准差。然后把 high_variance 设为次数 1、3 或 12(alpha 为 0)中离散程度最大的那一个。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。