Calendriers avec warmup et cosinus
Pourquoi c'est important Le meilleur taux d'apprentissage n'est pas le même tout au long de l'entraînement. Les gros modèles sont presque toujours entraînés avec un calendrier : un début en douceur, un long milieu élevé, et un atterrissage lent.
Vois-le
Lance l'animation. Warmup : le taux monte en ligne droite de presque zéro jusqu'à son pic pendant les quelques centaines de premiers pas, parce qu'au tout début les gradients sont grands et peu fiables. Décroissance en cosinus : ensuite, il glisse le long d'une demi-onde de cosinus jusqu'à un petit plancher, pour que la fin de l'entraînement fasse de petits pas prudents et se pose dans un bon endroit.
if step < warmup: lr = peak * (step + 1) / warmup
else: progress = (step - warmup) / (total - warmup)
lr = floor + (peak - floor) * 0.5 * (1 + cos(pi * progress))
Récap Monte, croise, plane vers le bas.
Mots et symboles de cette leçon
- warmup, cosinus
- démarrer le taux d'apprentissage petit, puis le faire planer vers le bas le long d'un cosinus
Écris lr_at(step, total, warmup, peak, floor) en suivant les formules ci-dessus (les pas se comptent à partir de 0).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.