La passe avant de BatchNorm et les moyennes courantes
Pourquoi c'est important À l'entraînement, BatchNorm utilise les statistiques propres au lot. Quand le modèle est utilisé sur un exemple à la fois, il n'y a pas de lot, donc il doit se souvenir des statistiques typiques de l'entraînement.
Pendant l'entraînement, garde des moyennes courantes de la moyenne et de la variance de chaque caractéristique : running = (1 - momentum) * running + momentum * batch_value, avec momentum 0.1. En mode évaluation, normalise avec ces valeurs courantes au lieu de celles du lot.
Mode entraînement : utilise les statistiques du lot et met à jour les moyennes courantes. Mode évaluation : utilise les moyennes courantes stockées et ne change rien.
Mots et symboles de cette leçon
- Xavier, LeCun, He
- dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
- BatchNorm (gamma, beta)
- normaliser chaque caractéristique sur le lot, puis remettre à l'échelle avec gamma et beta appris
Écris la classe BatchNorm(n, momentum=0.1, eps=1e-5) avec gamma (uns), beta (zéros), running_mean (zéros), running_var (uns), un drapeau training (au départ True) et __call__(X) qui se comporte comme décrit. Pour running_var, la variance du lot telle que la calcule np.var (en divisant par n) est le choix du cours ; PyTorch garde celle sans biais (en divisant par n - 1), et les deux sont acceptées.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.