Des pas bruités (SGD et mini-lots)
Pourquoi c'est important Les vrais jeux de données ont des millions d'exemples. Calculer le gradient exact sur tous à chaque pas est bien trop lent, donc on l'estime à partir d'un petit lot.
Un gradient sur mini-lot utilise, disons, 32 exemples aléatoires au lieu des 512. Il pointe à peu près vers le bas, avec un peu de bruit. Tu obtiens 16 pas bruités bon marché pour le prix d'un pas exact, et en pratique ça gagne facilement.
Ce que fait le bruit
La courbe de perte devient dentelée au lieu de lisse, et près du fond elle ne se stabilise jamais complètement : elle s'agite autour du minimum. Baisser le taux d'apprentissage tard dans l'entraînement calme l'agitation. Un peu de bruit aide même dans les gros réseaux, en faisant sortir la marche des mauvais endroits.
SGD : la descente de gradient stochastique, une descente de gradient avec des estimations du gradient sur des mini-lots.
Récap Beaucoup de pas bruités bon marché battent quelques pas exacts.
Mots et symboles de cette leçon
- SGD
- la descente de gradient avec de petits lots aléatoires
- mini-lot
- une petite tranche aléatoire des données utilisée pour une étape
Écris sgd(X, y, lr, batch, epochs, seed) pour la régression linéaire (perte : erreur quadratique moyenne), en mélangeant à chaque époque, qui renvoie (w, losses) où losses est la perte sur toutes les données après chaque époque. Avec batch 32, lr 0.05 et 10 époques, elle doit finir sous 0.02.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.