Programme Leçon 128 sur 246 · Module 11 : Des réseaux qui ont de la mémoire (RNN)
Module 11 : Des réseaux qui ont de la mémoire (RNN)

Évanouissement et explosion des gradients, mesurés

Pourquoi c'est important Tu viens de voir le gradient d'un pas ancien multiplié par w une fois par pas. Avec beaucoup de pas, ce produit soit rétrécit jusqu'à rien, soit explose. C'est la principale faiblesse des RNN simples.

Avec une matrice de poids W au lieu d'un nombre, reculer d'un pas multiplie le gradient par W transposée (en ignorant la tanh, qui ne peut que le rétrécir davantage). Un pas peut faire grandir un vecteur d'au plus le plus grand étirement de W, sa norme spectrale. Sur beaucoup de pas, ce qui compte, c'est le rayon spectral, la taille de la plus grande valeur propre de W (module 2, « Comment la dispersion s'additionne, et ce qu'une matrice étire ») : après k pas, la taille a changé d'environ r à la puissance k. (Pour les rotations utilisées ci-dessous, les deux sont le même nombre, r.) r = 0.9 sur 50 pas : 0.005. r = 1.1 sur 50 pas : 117.

Deux remèdes différents

L'explosion des gradients a un remède grossier : les écrêter (module 5). L'évanouissement n'a pas de tel remède. Le gradient total d'un poids est une somme sur chaque distance en arrière dans le temps ; quand les termes à longue portée rétrécissent comme 0.9 à la puissance 50, ils sont noyés par ceux à courte portée, et agrandir toute la somme agrandit le bruit avec eux. Le réseau ne peut tout simplement pas savoir que quelque chose de loin en arrière comptait. Le remède, là, c'est une autre architecture : le LSTM, juste après.

Mots et symboles de cette leçon
réseau récurrent (RNN)
un réseau qui lit un pas à la fois et transporte un état caché vers l'avant
évanouissement / explosion du gradient
un gradient multiplié de nombreuses fois par la même matrice rétrécit jusqu'à rien ou explose
LSTM
un RNN avec une cellule de mémoire c et trois portes : oubli, entrée, sortie
À ton tour

Écris gradient_sizes(W, steps) : pars d'un gradient de uns, multiplie par W.T une fois par pas, et renvoie la liste des normes (une par pas). Puis affecte à verdicts "vanish", "steady" ou "explode" pour les trois matrices, en jugeant d'après la norme après 50 pas (en dessous de 0.01, entre 0.01 et 100, au-dessus de 100).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.