Trop petit, trop grand : évanouissement et explosion
Pourquoi c'est important Un signal évanoui veut dire que chaque gradient est presque nul et que l'entraînement cale. Un signal explosé veut dire débordement et nan. Les deux viennent des poids de départ.
Vois-le
Lance l'animation : la même pile de 20 couches démarrée de trois façons. Trop petit, et le signal s'efface couche après couche jusqu'à rien. Trop grand, et il double et double jusqu'à déborder. Juste bien, et il reste stable tout du long. Le gradient au retour subit le même sort.
Évanouissement : des activations ou des gradients qui rétrécissent vers zéro à travers les couches. Explosion : qui grandissent sans limite.
Mots et symboles de cette leçon
- évanouissement, explosion
- des signaux ou des gradients qui rétrécissent jusqu'à rien ou grandissent sans limite à travers les couches
- Xavier, LeCun, He
- dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
Avec ton spreads de la leçon précédente (fourni), écris verdict(scale) qui renvoie "vanish" si la dispersion finale est inférieure à 1e-3, "explode" si elle dépasse 1e3, sinon "ok". Puis remplis my_predictions pour les échelles 0.05, 0.14 et 0.5 avant d'exécuter.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.