Programme Leçon 71 sur 246 · Module 5 : Optimisation
Module 5 : Optimisation

AdamW : la décroissance des poids bien faite

Pourquoi c'est important La plupart des grands modèles sont entraînés avec AdamW, pas Adam. La différence tient en une ligne, et elle change ce que fait vraiment la « décroissance des poids ».

La décroissance des poids tire chaque poids un peu vers zéro à chaque pas, ce qui décourage les grands poids et aide en général le modèle à marcher sur de nouvelles données.

  • Adam avec L2 ajoute wd * p au gradient avant la mise à l'échelle d'Adam. Adam le divise ensuite par le bouton de volume, donc les poids aux gradients forts ne décroissent presque pas.
  • AdamW laisse le gradient tranquille et fait décroître le poids directement : p_new = p - lr * (adam_direction + wd * p), où p est le poids avant ce pas. Chaque poids décroît dans la même proportion.

Décroissance des poids découplée : rétrécir les poids directement au lieu de passer par le gradient. C'est le « W » de AdamW.

Mots et symboles de cette leçon
Adam (m, v, t)
le momentum (m) plus un bouton de volume par poids (v), corrigé pour les premiers pas (t)
AdamW, décroissance des poids
rétrécir les poids directement un peu à chaque pas
À ton tour

Écris adam_l2_step(p, g, state, lr, wd) et adamw_step(p, g, state, lr, wd). state est un dictionnaire qui contient m, v et t (commence avec un dictionnaire vide). Utilise b1 = 0.9, b2 = 0.999, eps = 1e-8. Chacune renvoie le nouveau p. Pour AdamW, la mise à jour vaut p_new = p - lr * (m_hat / (sqrt(v_hat) + eps) + wd * p), avec p le poids d'avant le pas.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.