Qui se souvient ? Les entraînements enregistrés
Pourquoi c'est important Le manuel dit que les LSTM se souviennent et que les RNN simples oublient. Le cours l'a testé, et la vraie réponse a une subtilité qui vaut la peine d'être connue avant d'en entraîner un.
L'expérience enregistrée rnn-vs-lstm-memory : le réseau voit un symbole parmi quatre, puis un écart de 5, 15, 30 ou 60 symboles de plus tirés du même alphabet, et doit dire quel était le premier symbole. Trois sortes de réseaux, trois graines chacun :
- un RNN tanh simple ;
- un LSTM dont la porte d'oubli commence avec un biais de 1 (il garde environ 73 % de la cellule par pas au début) ;
- un LSTM dont la porte d'oubli commence avec un biais de 3 (environ 95 %).
Avant de lire les entraînements, prédis : quelle sorte réussit sur les trois graines avec un écart de 60 ?
Mots et symboles de cette leçon
- réseau récurrent (RNN)
- un réseau qui lit un pas à la fois et transporte un état caché vers l'avant
- LSTM
- un RNN avec une cellule de mémoire c et trois portes : oubli, entrée, sortie
Affecte à my_prediction "rnn", "lstm-forget-bias-1" ou "lstm-forget-bias-3". Puis remplis successes : de (cell, gap) vers le nombre des trois graines qui ont atteint au moins 95 % de justesse de test, avec nnsim.recorded.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.