Trouver vite un taux d'apprentissage, et écrêter les pics
Pourquoi c'est important Deviner des taux d'apprentissage fait perdre des jours. Une courte exécution t'en donne un bon. Et un seul mauvais lot peut faire exploser un entraînement à moins que tu ne plafonnes le pas.
Le test d'intervalle
Entraîne pendant quelques centaines de pas en augmentant un peu le taux d'apprentissage à chaque pas, de minuscule à énorme, et note la perte. Au début rien ne se passe ; puis la perte baisse vite ; puis elle explose. Un bon taux d'apprentissage se trouve là où la perte baissait le plus vite, un peu en dessous de l'explosion. Une règle courante : prends le taux où la perte était la plus basse et divise par 10.
L'écrêtage
Si la taille totale du gradient (sa longueur, ou sa norme) dépasse une limite, réduis tout le gradient à cette longueur. La direction est gardée ; seul un énorme pas rare est dompté.
Norme du gradient : la longueur de tous les gradients pris comme un seul long vecteur : la racine carrée de la somme de leurs carrés.
Mots et symboles de cette leçon
- norme du gradient, écrêtage
- la taille totale du gradient, et son plafonnement
Écris pick_lr(lrs, losses) : le taux d'apprentissage où la perte était la plus basse, divisé par 10. Et clip(grads, max_norm) : grads est une liste de tableaux ; si leur norme combinée dépasse max_norm, renvoie-les tous mis à l'échelle pour que la norme soit égale à max_norm, sinon renvoie-les inchangés.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.