第 5 模块:优化
AdamW:正确地做权重衰减
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 大多数大型模型是用 AdamW 而不是 Adam 训练的。区别只有一行,而它改变了“权重衰减”实际上做的事情。
权重衰减在每一步都把每个权重往零拉一点,这会抑制大的权重,并且通常有助于模型在新数据上工作。
- 带 L2 的 Adam 在 Adam 的缩放之前把
wd * p加到梯度上。然后 Adam 会用音量旋钮去除它,所以梯度响亮的权重几乎根本不会衰减。 - AdamW 不去动梯度,而是直接衰减权重:
p_new = p - lr * (adam_direction + wd * p),其中p是这一步之前的权重。每一个权重都以同样的比例衰减。
解耦的权重衰减:直接缩小权重,而不是通过梯度。这就是 AdamW 中的“W”。
本课中的词语和符号
- Adam(m、v、t)
- 动量(m)加上每个权重一个的音量旋钮(v),并针对早期步骤做了校正(t)
- AdamW、权重衰减
- 在每一步直接把权重缩小一点
轮到你了
编写 adam_l2_step(p, g, state, lr, wd) 和 adamw_step(p, g, state, lr, wd)。state 是一个保存 m、v 和 t 的字典(从一个空字典开始)。使用 b1 = 0.9、b2 = 0.999、eps = 1e-8。每一个都返回新的 p。对于 AdamW,更新是 p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p),其中 p 是这一步之前的权重。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。