AdamW : la décroissance des poids bien faite
Pourquoi c'est important La plupart des grands modèles sont entraînés avec AdamW, pas Adam. La différence tient en une ligne, et elle change ce que fait vraiment la « décroissance des poids ».
La décroissance des poids tire chaque poids un peu vers zéro à chaque pas, ce qui décourage les grands poids et aide en général le modèle à marcher sur de nouvelles données.
- Adam avec L2 ajoute
wd * pau gradient avant la mise à l'échelle d'Adam. Adam le divise ensuite par le bouton de volume, donc les poids aux gradients forts ne décroissent presque pas. - AdamW laisse le gradient tranquille et fait décroître le poids directement :
p_new = p - lr * (adam_direction + wd * p), oùpest le poids avant ce pas. Chaque poids décroît dans la même proportion.
Décroissance des poids découplée : rétrécir les poids directement au lieu de passer par le gradient. C'est le « W » de AdamW.
Mots et symboles de cette leçon
- Adam (m, v, t)
- le momentum (m) plus un bouton de volume par poids (v), corrigé pour les premiers pas (t)
- AdamW, décroissance des poids
- rétrécir les poids directement un peu à chaque pas
Écris adam_l2_step(p, g, state, lr, wd) et adamw_step(p, g, state, lr, wd). state est un dictionnaire qui contient m, v et t (commence avec un dictionnaire vide). Utilise b1 = 0.9, b2 = 0.999, eps = 1e-8. Chacune renvoie le nouveau p. Pour AdamW, la mise à jour vaut p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), avec p le poids d'avant le pas.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.