一个沉重的球(动量)
为什么重要 动量是对被拉伸的山谷最有用的单一修复,而且你将要使用的几乎每一个优化器都有它。
先看一看
播放动画。普通的梯度下降在横跨山谷时走之字形。一个沉重的球会保留它之前的一部分速度:之字形会相互抵消(左、右、左),而沿着山谷稳定的下坡拉力会一步一步地累积起来。所以它会沿着谷底加速前进。
给它命名
v = beta * v + grad # velocity: mostly the old velocity, plus the new push
p = p - lr * v
当 beta = 0.9 时,球大约记得最近的 10 次推动。
为什么普通的下降在这里很慢
在这个碗上,陡峭的方向比平缓的方向陡 50 倍。普通下降的学习率被陡峭的方向限制住了:超过 2/50 = 0.04,横跨山谷的步子就会增大,然后爆炸。就在上限之下,在 0.039 时,它会在横跨山谷时走之字形(每一步都冲过头,落在另一侧),同时沿着山谷缓慢地前进,因为对于平缓的方向来说,0.039 是一个很小的学习率。动量可以使用一个更大的学习率,并沿着山谷保持它的速度:它在陡峭的方向上也会冲过头,但那些摆动会相互抵消,而沿着谷底的推动会累积起来。
(恰好在 lr = 1/50 = 0.02 时,根本没有之字形:一步就落在谷底,剩下的就是缓慢的爬行。试一试。)
(场景画的是一个更平缓的山谷,横向陡 25 倍,beta 为 0.5,这样它的路径才能放进屏幕;这一课中的数字是针对你所编写的那个 50 倍的山谷。)
动量:近期梯度的一个累计和,它能抹平之字形,并在一致的方向上积累速度。
本课中的词语和符号
- 动量(beta)
- 保留上一步速度的一部分
编写 steps_plain(lr) 和 steps_momentum(lr, beta):在被拉伸的碗上从 (1, 1) 出发,统计直到离底部的距离低于 0.001 为止的步数(最多 20,000)。给每一个它自己合适的设置:普通下降用 lr 0.039,就在它的上限之下,而动量用 lr 0.06 和 beta 0.6。动量需要的步数最多只能是三分之一。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。