Programme Leçon 72 sur 246 · Module 5 : Optimisation
Module 5 : Optimisation

Calendriers avec warmup et cosinus

Pourquoi c'est important Le meilleur taux d'apprentissage n'est pas le même tout au long de l'entraînement. Les gros modèles sont presque toujours entraînés avec un calendrier : un début en douceur, un long milieu élevé, et un atterrissage lent.

Vois-le

Lance l'animation. Warmup : le taux monte en ligne droite de presque zéro jusqu'à son pic pendant les quelques centaines de premiers pas, parce qu'au tout début les gradients sont grands et peu fiables. Décroissance en cosinus : ensuite, il glisse le long d'une demi-onde de cosinus jusqu'à un petit plancher, pour que la fin de l'entraînement fasse de petits pas prudents et se pose dans un bon endroit.

if step < warmup:  lr = peak * (step + 1) / warmup
else:              progress = (step - warmup) / (total - warmup)
                   lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))

Récap Monte, croise, plane vers le bas.

Mots et symboles de cette leçon
warmup, cosinus
démarrer le taux d'apprentissage petit, puis le faire planer vers le bas le long d'un cosinus
À ton tour

Écris lr_at(step, total, warmup, peak, floor) en suivant les formules ci-dessus (les pas se comptent à partir de 0).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.