Évanouissement et explosion des gradients, mesurés
Pourquoi c'est important Tu viens de voir le gradient d'un pas ancien multiplié par w une fois par pas. Avec beaucoup de pas, ce produit soit rétrécit jusqu'à rien, soit explose. C'est la principale faiblesse des RNN simples.
Avec une matrice de poids W au lieu d'un nombre, reculer d'un pas multiplie le gradient par W transposée (en ignorant la tanh, qui ne peut que le rétrécir davantage). Un pas peut faire grandir un vecteur d'au plus le plus grand étirement de W, sa norme spectrale. Sur beaucoup de pas, ce qui compte, c'est le rayon spectral, la taille de la plus grande valeur propre de W (module 2, « Comment la dispersion s'additionne, et ce qu'une matrice étire ») : après k pas, la taille a changé d'environ r à la puissance k. (Pour les rotations utilisées ci-dessous, les deux sont le même nombre, r.) r = 0.9 sur 50 pas : 0.005. r = 1.1 sur 50 pas : 117.
Deux remèdes différents
L'explosion des gradients a un remède grossier : les écrêter (module 5). L'évanouissement n'a pas de tel remède. Le gradient total d'un poids est une somme sur chaque distance en arrière dans le temps ; quand les termes à longue portée rétrécissent comme 0.9 à la puissance 50, ils sont noyés par ceux à courte portée, et agrandir toute la somme agrandit le bruit avec eux. Le réseau ne peut tout simplement pas savoir que quelque chose de loin en arrière comptait. Le remède, là, c'est une autre architecture : le LSTM, juste après.
Mots et symboles de cette leçon
- réseau récurrent (RNN)
- un réseau qui lit un pas à la fois et transporte un état caché vers l'avant
- évanouissement / explosion du gradient
- un gradient multiplié de nombreuses fois par la même matrice rétrécit jusqu'à rien ou explose
- LSTM
- un RNN avec une cellule de mémoire c et trois portes : oubli, entrée, sortie
Écris gradient_sizes(W, steps) : pars d'un gradient de uns, multiplie par W.T une fois par pas, et renvoie la liste des normes (une par pas). Puis affecte à verdicts "vanish", "steady" ou "explode" pour les trois matrices, en jugeant d'après la norme après 50 pas (en dessous de 0.01, entre 0.01 et 100, au-dessus de 100).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.