Programme Leçon 75 sur 246 · Module 6 : Poids de départ et normalisation
Module 6 : Poids de départ et normalisation

Des signaux à travers 20 couches

Pourquoi c'est important Avant qu'un réseau profond apprenne quoi que ce soit, le signal doit survivre au trajet à travers chaque couche. Souvent il n'y survit pas, et aucun optimiseur ne peut corriger ça.

Fais passer un lot d'entrées aléatoires à travers 20 couches de h = relu(h @ W), avec chaque poids tiré d'une loi normale d'une certaine dispersion. Après chaque couche, mesure la dispersion (écart type) des activations.

De tout petits nombres

Chaque couche multiplie la taille typique du signal par à peu près le même facteur. Si ce facteur vaut 0.5, après 20 couches le signal vaut 0.5 à la puissance 20 : environ un millionième. S'il vaut 2, il est environ un million de fois plus grand. Seul un facteur proche de 1 survit.

Récap La profondeur transforme de petits changements par couche en changements énormes.

Mots et symboles de cette leçon
Xavier, LeCun, He
dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
À ton tour

Écris spreads(scale, depth=20, width=100, seed=0) : pars de h = rng.standard_normal((256, width)), puis pour chaque couche tire W = rng.normal(0, scale, (width, width)) et fais h = relu(h @ W). Renvoie la liste des h.std() après chaque couche.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.