Programme Leçon 129 sur 246 · Module 11 : Des réseaux qui ont de la mémoire (RNN)
Module 11 : Des réseaux qui ont de la mémoire (RNN)

Les portes d'un LSTM, construites

Pourquoi c'est important Le LSTM (1997, avec la porte d'oubli enseignée ici ajoutée en 2000) a réglé le problème de mémoire des RNN et a fait tourner la reconnaissance de la parole et la traduction pendant vingt ans. Son astuce est simple une fois qu'on l'a vue.

Vois-le

Lance l'animation. En plus de l'état caché h, un LSTM garde une cellule c, un tapis roulant de mémoire. Trois portes, chacune une sigmoïde entre 0 et 1, décident de ce qui lui arrive :

  • porte d'oubli f : combien de l'ancienne cellule garder ;
  • porte d'entrée i : combien de nouvelle information g écrire dedans ;
  • porte de sortie o : combien de la cellule montrer comme h.
z = [x, h] @ W + b            # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)

La ligne clé est c = f * c + i * g. En reculant d'un pas, le gradient sur la cellule est multiplié par f, et par rien d'autre : pas de multiplication répétée par une matrice de poids. Il rétrécit quand même de f à chaque pas, donc après k pas il vaut f à la puissance k. Avec f = 0.95, ça fait 0.08 après 50 pas ; avec f = 0.999, ça fait 0.95. Donc un LSTM se souvient loin quand ses portes d'oubli restent très proches de 1, et la leçon suivante mesure à quel point proche suffit.

Mots et symboles de cette leçon
réseau récurrent (RNN)
un réseau qui lit un pas à la fois et transporte un état caché vers l'avant
état caché h
le court vecteur de nombres qu'un RNN transporte de pas en pas
LSTM
un RNN avec une cellule de mémoire c et trois portes : oubli, entrée, sortie
À ton tour

Écris lstm_step(x, h, c, W, b) qui renvoie (h, c), avec W de forme (entrées + caché, 4 * caché) et les quatre quarts dans l'ordre i, f, g, o. Les entrées sont par lots : x est (lot, entrées), h et c sont (lot, caché), donc joins x et h le long de l'axe 1.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.