Programme Leçon 76 sur 246 · Module 6 : Poids de départ et normalisation
Module 6 : Poids de départ et normalisation

Trop petit, trop grand : évanouissement et explosion

Pourquoi c'est important Un signal évanoui veut dire que chaque gradient est presque nul et que l'entraînement cale. Un signal explosé veut dire débordement et nan. Les deux viennent des poids de départ.

Vois-le

Lance l'animation : la même pile de 20 couches démarrée de trois façons. Trop petit, et le signal s'efface couche après couche jusqu'à rien. Trop grand, et il double et double jusqu'à déborder. Juste bien, et il reste stable tout du long. Le gradient au retour subit le même sort.

Évanouissement : des activations ou des gradients qui rétrécissent vers zéro à travers les couches. Explosion : qui grandissent sans limite.

Mots et symboles de cette leçon
évanouissement, explosion
des signaux ou des gradients qui rétrécissent jusqu'à rien ou grandissent sans limite à travers les couches
Xavier, LeCun, He
dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
À ton tour

Avec ton spreads de la leçon précédente (fourni), écris verdict(scale) qui renvoie "vanish" si la dispersion finale est inférieure à 1e-3, "explode" si elle dépasse 1e3, sinon "ok". Puis remplis my_predictions pour les échelles 0.05, 0.14 et 0.5 avant d'exécuter.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.