课程大纲 第 69 课,共 246 课 · 第 5 模块:优化
第 5 模块:优化

每个权重一个音量旋钮(RMSProp)

为什么重要 动量能抹平方向。RMSProp 修复的是另一个问题:有些权重得到很大的梯度,另一些得到很小的梯度,所以一个学习率没法适合所有的权重。

RMSProp 为每个权重保存它的梯度平方的一个滑动平均值:这个权重的梯度通常有多响。然后它把每一步除以它的平方根,就像把响亮的权重的音量调低、把安静的权重的音量调高。

s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)

在被拉伸的碗上,陡峭的方向有响亮的梯度,于是被调低,平缓的方向被调高,而这个碗表现得几乎就像是圆的一样。这在这里之所以有效,是因为碗的陡峭方向和平缓方向恰好和两个权重对齐。把山谷倾斜 45 度,让每个权重都看到两个方向的混合,那么每个权重一个的音量旋钮就没法把它们分开了:这时 RMSProp 和 Adam 的帮助就小得多。它们是按每个权重的梯度有多响来重新缩放的,而不是按山谷真实的形状。

eps:一个像 1e-8 这样很小的数,用来防止除以零。

本课中的词语和符号
动量(beta)
保留上一步速度的一部分
RMSProp
把每个权重的步子除以它的梯度通常有多响
Adam(m、v、t)
动量(m)加上每个权重一个的音量旋钮(v),并针对早期步骤做了校正(t)
轮到你了

编写 rmsprop(grad, start, lr, rho, steps, eps=1e-8),返回最终的位置。隐藏的测试会在几步之后把你的位置和参考实现做比较。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。