La passe arrière de BatchNorm sur un lot de 3 nombres (facultatif)
Pourquoi c'est important C'est la règle de passe arrière la plus difficile de la partie 1, et elle est facultative. Sa leçon : quand chaque sortie dépend de chaque entrée (à travers la moyenne et la dispersion), le gradient prend des termes en plus.
Travaille-la d'abord sur une caractéristique avec un lot de 3. Avec x_hat = (x - mean) / spread et y = gamma x_hat + beta, le gradient par rapport à x n'est pas juste gamma / spread fois le gradient qui arrive. Pousser un x déplace la moyenne et la dispersion, ce qui déplace aussi toutes les autres sorties. Le résultat, par caractéristique, avec g le gradient qui arrive et N la taille du lot :
dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())
Lis-le comme : le gradient simple, moins la partie qui a seulement tout décalé ensemble (le terme de la moyenne), moins la partie qui a seulement tout étiré ensemble (le terme de la dispersion). Ces deux parties sont annulées par la normalisation elle-même.
Une solution détaillée s'ouvre depuis les indices si tu bloques. Sauter cette leçon ne bloque rien.
Mots et symboles de cette leçon
- Xavier, LeCun, He
- dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
- BatchNorm (gamma, beta)
- normaliser chaque caractéristique sur le lot, puis remettre à l'échelle avec gamma et beta appris
Écris batchnorm_backward(X, gamma, g, eps=1e-5) qui renvoie (dX, dgamma, dbeta) pour un lot 2D, où g est le gradient qui arrive à la sortie.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.