课程大纲 第 71 课,共 246 课 · 第 5 模块:优化
第 5 模块:优化

AdamW:正确地做权重衰减

为什么重要 大多数大型模型是用 AdamW 而不是 Adam 训练的。区别只有一行,而它改变了“权重衰减”实际上做的事情。

权重衰减在每一步都把每个权重往零拉一点,这会抑制大的权重,并且通常有助于模型在新数据上工作。

  • 带 L2 的 Adam 在 Adam 的缩放之前把 wd * p 加到梯度上。然后 Adam 会用音量旋钮去除它,所以梯度响亮的权重几乎根本不会衰减。
  • AdamW 不去动梯度,而是直接衰减权重:p_new = p - lr * (adam_direction + wd * p),其中 p 是这一步之前的权重。每一个权重都以同样的比例衰减。

解耦的权重衰减:直接缩小权重,而不是通过梯度。这就是 AdamW 中的“W”。

本课中的词语和符号
Adam(m、v、t)
动量(m)加上每个权重一个的音量旋钮(v),并针对早期步骤做了校正(t)
AdamW、权重衰减
在每一步直接把权重缩小一点
轮到你了

编写 adam_l2_step(p, g, state, lr, wd) 和 adamw_step(p, g, state, lr, wd)。state 是一个保存 m、v 和 t 的字典(从一个空字典开始)。使用 b1 = 0.9、b2 = 0.999、eps = 1e-8。每一个都返回新的 p。对于 AdamW,更新是 p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p),其中 p 是这一步之前的权重。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。