Programme Leçon 80 sur 246 · Module 6 : Poids de départ et normalisation
Module 6 : Poids de départ et normalisation

La passe avant de BatchNorm et les moyennes courantes

Pourquoi c'est important À l'entraînement, BatchNorm utilise les statistiques propres au lot. Quand le modèle est utilisé sur un exemple à la fois, il n'y a pas de lot, donc il doit se souvenir des statistiques typiques de l'entraînement.

Pendant l'entraînement, garde des moyennes courantes de la moyenne et de la variance de chaque caractéristique : running = (1 - momentum) * running + momentum * batch_value, avec momentum 0.1. En mode évaluation, normalise avec ces valeurs courantes au lieu de celles du lot.

Mode entraînement : utilise les statistiques du lot et met à jour les moyennes courantes. Mode évaluation : utilise les moyennes courantes stockées et ne change rien.

Mots et symboles de cette leçon
Xavier, LeCun, He
dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
BatchNorm (gamma, beta)
normaliser chaque caractéristique sur le lot, puis remettre à l'échelle avec gamma et beta appris
À ton tour

Écris la classe BatchNorm(n, momentum=0.1, eps=1e-5) avec gamma (uns), beta (zéros), running_mean (zéros), running_var (uns), un drapeau training (au départ True) et __call__(X) qui se comporte comme décrit. Pour running_var, la variance du lot telle que la calcule np.var (en divisant par n) est le choix du cours ; PyTorch garde celle sans biais (en divisant par n - 1), et les deux sont acceptées.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.