Programme Leçon 79 sur 246 · Module 6 : Poids de départ et normalisation
Module 6 : Poids de départ et normalisation

Ce que BatchNorm fait aux nombres

Pourquoi c'est important BatchNorm a rendu entraînables les réseaux très profonds en 2015. Vois ce qu'il fait aux nombres avant de le construire.

Vois-le

Lance l'animation. Les sorties d'une couche arrivent avec leur propre moyenne et leur propre dispersion par caractéristique, certaines énormes, d'autres minuscules, d'autres décalées. BatchNorm prend chaque caractéristique, sur le lot actuel, soustrait sa moyenne et divise par sa dispersion. Chaque caractéristique a maintenant une moyenne de 0 et une dispersion de 1. Puis il multiplie par un gamma appris et ajoute un beta appris, pour que le réseau puisse choisir une autre échelle si ça aide.

Une note honnête : pourquoi BatchNorm aide est encore débattu. L'explication de l'article original (« internal covariate shift ») n'est plus celle qui est acceptée ; des paysages de perte plus lisses et la possibilité de taux d'apprentissage plus grands sont des raisons mieux étayées. Ce qu'il fait aux nombres ne fait aucun doute.

BatchNorm : normaliser chaque caractéristique avec les statistiques du lot actuel, puis remettre à l'échelle avec gamma et beta appris.

Mots et symboles de cette leçon
Xavier, LeCun, He
dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
BatchNorm (gamma, beta)
normaliser chaque caractéristique sur le lot, puis remettre à l'échelle avec gamma et beta appris
À ton tour

Prédis avant de calculer : une caractéristique a les valeurs [2, 4, 6, 8] dans un lot, gamma vaut 3 et beta vaut 1. Affecte à my_output les quatre nombres que produit BatchNorm (utilise eps = 0). Puis écris batchnorm_forward(X, gamma, beta, eps=1e-5) pour un lot 2D.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.