モジュール 5:最適化
AdamW:正しく行う重み減衰
以前このコースを受けたことがありますか?
あなたを 1 人として数えるためです。送られるのはあなたの答えと匿名の進捗だけです。
なぜ大切か ほとんどの大きなモデルは、Adam ではなく AdamW で訓練されます。違いは 1 行で、「重み減衰」が実際に何をするかを変えます。
重み減衰は、どの歩みでもすべての重みを少しゼロへ引き寄せ、大きな重みを嫌い、たいていモデルが新しいデータで動くのを助けます。
- L2 付きの Adam は、Adam の縮尺の前に勾配に
wd * pを足します。Adam はそれから音量のつまみでそれを割るので、うるさい勾配を持つ重みはほとんど減衰しません。 - AdamW は勾配をそのままにして、重みを直接減衰させます:
p_new = p - lr * (adam_direction + wd * p)、pはこの歩みの前の重み。どの重みも同じ割合で減衰します。
分離した重み減衰:勾配を通してではなく、重みを直接縮めることです。それが AdamW の「W」です。
このレッスンの言葉と記号
- Adam (m, v, t)
- モメンタム (m) 足す重みごとの音量のつまみ (v) を、最初の歩み (t) について補正したもの
- AdamW、重み減衰
- どの歩みでも重みを少し直接縮めること
あなたの番
adam_l2_step(p, g, state, lr, wd) と adamw_step(p, g, state, lr, wd) を書いてください。state は m、v、t を持つ辞書です(空の辞書から始める)。b1 = 0.9、b2 = 0.999、eps = 1e-8 を使ってください。どちらも新しい p を返します。AdamW では更新は p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p) で、p は歩みの前の重みです。
レッスン完了。お見事です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。