Programme Leçon 81 sur 246 · Module 6 : Poids de départ et normalisation
Module 6 : Poids de départ et normalisation

La passe arrière de BatchNorm sur un lot de 3 nombres (facultatif)

Pourquoi c'est important C'est la règle de passe arrière la plus difficile de la partie 1, et elle est facultative. Sa leçon : quand chaque sortie dépend de chaque entrée (à travers la moyenne et la dispersion), le gradient prend des termes en plus.

Travaille-la d'abord sur une caractéristique avec un lot de 3. Avec x_hat = (x - mean) / spread et y = gamma x_hat + beta, le gradient par rapport à x n'est pas juste gamma / spread fois le gradient qui arrive. Pousser un x déplace la moyenne et la dispersion, ce qui déplace aussi toutes les autres sorties. Le résultat, par caractéristique, avec g le gradient qui arrive et N la taille du lot :

dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())

Lis-le comme : le gradient simple, moins la partie qui a seulement tout décalé ensemble (le terme de la moyenne), moins la partie qui a seulement tout étiré ensemble (le terme de la dispersion). Ces deux parties sont annulées par la normalisation elle-même.

Une solution détaillée s'ouvre depuis les indices si tu bloques. Sauter cette leçon ne bloque rien.

Mots et symboles de cette leçon
Xavier, LeCun, He
dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
BatchNorm (gamma, beta)
normaliser chaque caractéristique sur le lot, puis remettre à l'échelle avec gamma et beta appris
À ton tour

Écris batchnorm_backward(X, gamma, g, eps=1e-5) qui renvoie (dX, dgamma, dbeta) pour un lot 2D, où g est le gradient qui arrive à la sortie.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.