Programme Leçon 130 sur 246 · Module 11 : Des réseaux qui ont de la mémoire (RNN)
Module 11 : Des réseaux qui ont de la mémoire (RNN)

Qui se souvient ? Les entraînements enregistrés

Pourquoi c'est important Le manuel dit que les LSTM se souviennent et que les RNN simples oublient. Le cours l'a testé, et la vraie réponse a une subtilité qui vaut la peine d'être connue avant d'en entraîner un.

L'expérience enregistrée rnn-vs-lstm-memory : le réseau voit un symbole parmi quatre, puis un écart de 5, 15, 30 ou 60 symboles de plus tirés du même alphabet, et doit dire quel était le premier symbole. Trois sortes de réseaux, trois graines chacun :

  • un RNN tanh simple ;
  • un LSTM dont la porte d'oubli commence avec un biais de 1 (il garde environ 73 % de la cellule par pas au début) ;
  • un LSTM dont la porte d'oubli commence avec un biais de 3 (environ 95 %).

Avant de lire les entraînements, prédis : quelle sorte réussit sur les trois graines avec un écart de 60 ?

Mots et symboles de cette leçon
réseau récurrent (RNN)
un réseau qui lit un pas à la fois et transporte un état caché vers l'avant
LSTM
un RNN avec une cellule de mémoire c et trois portes : oubli, entrée, sortie
À ton tour

Affecte à my_prediction "rnn", "lstm-forget-bias-1" ou "lstm-forget-bias-3". Puis remplis successes : de (cell, gap) vers le nombre des trois graines qui ont atteint au moins 95 % de justesse de test, avec nnsim.recorded.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.