第 5 模块:优化
每个权重一个音量旋钮(RMSProp)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 动量能抹平方向。RMSProp 修复的是另一个问题:有些权重得到很大的梯度,另一些得到很小的梯度,所以一个学习率没法适合所有的权重。
RMSProp 为每个权重保存它的梯度平方的一个滑动平均值:这个权重的梯度通常有多响。然后它把每一步除以它的平方根,就像把响亮的权重的音量调低、把安静的权重的音量调高。
s = rho * s + (1 - rho) * grad ** 2
p = p - lr * grad / (np.sqrt(s) + eps)
在被拉伸的碗上,陡峭的方向有响亮的梯度,于是被调低,平缓的方向被调高,而这个碗表现得几乎就像是圆的一样。这在这里之所以有效,是因为碗的陡峭方向和平缓方向恰好和两个权重对齐。把山谷倾斜 45 度,让每个权重都看到两个方向的混合,那么每个权重一个的音量旋钮就没法把它们分开了:这时 RMSProp 和 Adam 的帮助就小得多。它们是按每个权重的梯度有多响来重新缩放的,而不是按山谷真实的形状。
eps:一个像 1e-8 这样很小的数,用来防止除以零。
本课中的词语和符号
- 动量(beta)
- 保留上一步速度的一部分
- RMSProp
- 把每个权重的步子除以它的梯度通常有多响
- Adam(m、v、t)
- 动量(m)加上每个权重一个的音量旋钮(v),并针对早期步骤做了校正(t)
轮到你了
编写 rmsprop(grad, start, lr, rho, steps, eps=1e-8),返回最终的位置。隐藏的测试会在几步之后把你的位置和参考实现做比较。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。