Les portes d'un LSTM, construites
Pourquoi c'est important Le LSTM (1997, avec la porte d'oubli enseignée ici ajoutée en 2000) a réglé le problème de mémoire des RNN et a fait tourner la reconnaissance de la parole et la traduction pendant vingt ans. Son astuce est simple une fois qu'on l'a vue.
Vois-le
Lance l'animation. En plus de l'état caché h, un LSTM garde une cellule c, un tapis roulant de mémoire. Trois portes, chacune une sigmoïde entre 0 et 1, décident de ce qui lui arrive :
- porte d'oubli f : combien de l'ancienne cellule garder ;
- porte d'entrée i : combien de nouvelle information g écrire dedans ;
- porte de sortie o : combien de la cellule montrer comme h.
z = [x, h] @ W + b # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)
La ligne clé est c = f * c + i * g. En reculant d'un pas, le gradient sur la cellule est multiplié par f, et par rien d'autre : pas de multiplication répétée par une matrice de poids. Il rétrécit quand même de f à chaque pas, donc après k pas il vaut f à la puissance k. Avec f = 0.95, ça fait 0.08 après 50 pas ; avec f = 0.999, ça fait 0.95. Donc un LSTM se souvient loin quand ses portes d'oubli restent très proches de 1, et la leçon suivante mesure à quel point proche suffit.
Mots et symboles de cette leçon
- réseau récurrent (RNN)
- un réseau qui lit un pas à la fois et transporte un état caché vers l'avant
- état caché h
- le court vecteur de nombres qu'un RNN transporte de pas en pas
- LSTM
- un RNN avec une cellule de mémoire c et trois portes : oubli, entrée, sortie
Écris lstm_step(x, h, c, W, b) qui renvoie (h, c), avec W de forme (entrées + caché, 4 * caché) et les quatre quarts dans l'ordre i, f, g, o. Les entrées sont par lots : x est (lot, entrées), h et c sont (lot, caché), donc joins x et h le long de l'axe 1.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.