Des signaux à travers 20 couches
Pourquoi c'est important Avant qu'un réseau profond apprenne quoi que ce soit, le signal doit survivre au trajet à travers chaque couche. Souvent il n'y survit pas, et aucun optimiseur ne peut corriger ça.
Fais passer un lot d'entrées aléatoires à travers 20 couches de h = relu(h @ W), avec chaque poids tiré d'une loi normale d'une certaine dispersion. Après chaque couche, mesure la dispersion (écart type) des activations.
De tout petits nombres
Chaque couche multiplie la taille typique du signal par à peu près le même facteur. Si ce facteur vaut 0.5, après 20 couches le signal vaut 0.5 à la puissance 20 : environ un millionième. S'il vaut 2, il est environ un million de fois plus grand. Seul un facteur proche de 1 survit.
Récap La profondeur transforme de petits changements par couche en changements énormes.
Mots et symboles de cette leçon
- Xavier, LeCun, He
- dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
Écris spreads(scale, depth=20, width=100, seed=0) : pars de h = rng.standard_normal((256, width)), puis pour chaque couche tire W = rng.normal(0, scale, (width, width)) et fais h = relu(h @ W). Renvoie la liste des h.std() après chaque couche.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.