Adam:球加上旋钮
为什么重要 Adam 是大多数深度学习的默认优化器。它就是动量和 RMSProp 合在一起,再加上一个在开始时非常要紧的小校正。
先看很小的数字
一个权重,beta1 = 0.9,beta2 = 0.999,lr = 0.1。第 1 步的梯度是 2.0。梯度的滑动平均值 m 从 0 开始:m = 0.9 * 0 + 0.1 * 2 = 0.2。但真实的近期梯度是 2,而不是 0.2:m 偏向它起始的零。除以 (1 - 0.9 的 t 次方) 来修正它:0.2 / 0.1 = 2.0。对平方的平均值 v 做同样的校正:0.004 / 0.001 = 4.0。步子 = 0.1 * 2 / sqrt(4) = 0.1。
没有这个校正,第一步会是 0.1 * 0.2 / sqrt(0.004) = 0.32,大了三倍多,而在一个真实的网络中,这些狂野的最初几步可能会毁掉训练的开局。
m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)
偏差校正:除以 (1 - beta 的 t 次方),让那些从零开始的平均值在早期步骤中不会被低估。t 从 1 开始计数步骤。
本课中的词语和符号
- 动量(beta)
- 保留上一步速度的一部分
- RMSProp
- 把每个权重的步子除以它的梯度通常有多响
- Adam(m、v、t)
- 动量(m)加上每个权重一个的音量旋钮(v),并针对早期步骤做了校正(t)
先填写 first_step_with 和 first_step_without:上面例子中第 1 步的大小,分别带有和不带偏差校正。然后编写类 Adam(lr, b1=0.9, b2=0.999, eps=1e-8),带有一个返回更新后参数数组的方法 step(p, g)。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。