Programme Leçon 78 sur 246 · Module 6 : Poids de départ et normalisation
Module 6 : Poids de départ et normalisation

Des ReLU mortes

Pourquoi c'est important Une ReLU éteinte pour chaque entrée ne laisse passer aucun gradient, donc elle n'apprend plus jamais. Des couches entières peuvent mourir sans bruit.

Une unité est morte si sa sortie vaut zéro pour chaque exemple d'un lot. Causes courantes : un grand biais négatif, ou une seule énorme mise à jour qui a poussé ses poids loin dans le négatif.

De tout petits nombres

Des activations pour 4 exemples et 3 unités : [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. L'unité 1 vaut zéro partout : morte. L'unité 3 s'est activée une fois : vivante. Fraction morte : 1 sur 3.

Corrections : des poids de départ raisonnables, des biais qui commencent à 0 (ou légèrement positifs), un taux d'apprentissage plus petit, ou une leaky ReLU, qui garde une petite pente (disons 0.01) pour les entrées négatives pour que l'unité puisse se rétablir.

Mots et symboles de cette leçon
Xavier, LeCun, He
dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
À ton tour

Écris dead_fraction(H) pour une matrice d'activations (exemples par unités). Puis, pour la couche ci-dessous, qui a été démarrée avec des biais de -4, écris fixed_layer(X, W) qui garde les mêmes poids mais utilise des biais de zéro et une leaky ReLU de pente 0.01 ; sa fraction morte (en comptant les sorties exactement nulles) doit valoir 0.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.