Programme Leçon 67 sur 246 · Module 5 : Optimisation
Module 5 : Optimisation

La taille du lot et le taux d'apprentissage ensemble

Pourquoi c'est important La taille du lot et le taux d'apprentissage ne sont pas des boutons séparés. Change l'un et la meilleure valeur de l'autre bouge.

Un lot plus gros donne un gradient moins bruité, donc il peut faire un pas plus grand sans danger. Une règle approximative dont beaucoup de gens partent : si tu doubles la taille du lot, tu peux à peu près doubler le taux d'apprentissage, jusqu'à un point où le pas devient instable.

Les résultats varient aussi d'une graine à l'autre, donc compare les réglages sur plusieurs graines, jamais sur une seule exécution.

Un piège de plus : les étiquettes ici portent un bruit de dispersion 0.1, donc aucun réglage ne peut pousser la perte sous environ 0.1 au carré = 0.01. Près de ce plancher, plusieurs paires sont à égalité (par exemple 0.0113 contre 0.0114). Un « gagnant » de moins que la variation d'une graine à l'autre n'est pas un gagnant, donc l'exécution liste aussi chaque paire à moins de 5 % de la meilleure.

Récap Règle-les ensemble, et fais la moyenne sur les graines.

Mots et symboles de cette leçon
SGD
la descente de gradient avec de petits lots aléatoires
À ton tour

Prédis d'abord : dans my_pick, écris la paire (batch, lr) de la grille qui, selon toi, finit avec la perte la plus basse après 2 époques. Puis écris sweep(X, y, batches, lrs, seeds) qui renvoie un dictionnaire de (batch, lr) vers la perte finale moyenne sur les graines (utilise le sgd fourni), et best(results) qui renvoie la meilleure paire.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.