シラバス レッスン 246 中 71 · モジュール 5:最適化
モジュール 5:最適化

AdamW:正しく行う重み減衰

なぜ大切か ほとんどの大きなモデルは、Adam ではなく AdamW で訓練されます。違いは 1 行で、「重み減衰」が実際に何をするかを変えます。

重み減衰は、どの歩みでもすべての重みを少しゼロへ引き寄せ、大きな重みを嫌い、たいていモデルが新しいデータで動くのを助けます。

  • L2 付きの Adam は、Adam の縮尺の前に勾配に wd * p を足します。Adam はそれから音量のつまみでそれを割るので、うるさい勾配を持つ重みはほとんど減衰しません。
  • AdamW は勾配をそのままにして、重みを直接減衰させます:p_new = p - lr * (adam_direction + wd * p)、p はこの歩みの前の重み。どの重みも同じ割合で減衰します。

分離した重み減衰:勾配を通してではなく、重みを直接縮めることです。それが AdamW の「W」です。

このレッスンの言葉と記号
Adam (m, v, t)
モメンタム (m) 足す重みごとの音量のつまみ (v) を、最初の歩み (t) について補正したもの
AdamW、重み減衰
どの歩みでも重みを少し直接縮めること
あなたの番

adam_l2_step(p, g, state, lr, wd) と adamw_step(p, g, state, lr, wd) を書いてください。state は m、v、t を持つ辞書です(空の辞書から始める)。b1 = 0.9、b2 = 0.999、eps = 1e-8 を使ってください。どちらも新しい p を返します。AdamW では更新は p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p) で、p は歩みの前の重みです。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。