Programme Leçon 132 sur 246 · Module 11 : Des réseaux qui ont de la mémoire (RNN)
Module 11 : Des réseaux qui ont de la mémoire (RNN)

L'un lit, l'autre écrit : le goulot d'étranglement

Pourquoi c'est important La traduction marchait autrefois comme ça : un RNN lit la phrase dans un seul vecteur, un autre écrit la sortie à partir de lui. Ce seul vecteur est un goulot d'étranglement, et le voir échouer est la raison pour laquelle l'attention a été inventée.

Un encodeur-décodeur : le RNN encodeur lit l'entrée ; son état caché final est transmis au RNN décodeur, qui écrit la sortie un symbole à la fois, en réinjectant chaque réponse. Tout ce que le décodeur sait de l'entrée doit passer par ce seul vecteur de 48 nombres.

L'expérience enregistrée seq2seq-bottleneck a entraîné de tels réseaux à écrire une séquence de chiffres à l'envers, pour des longueurs de 4, 8, 12 et 16, deux graines chacune. Elle a aussi entraîné une version avec attention, que tu rencontreras au module 13. Pour l'instant, ne regarde que les simples.

Prédis la courbe : prédis la justesse par chiffre du modèle simple pour une longueur de 16. Le hasard vaut 10 %.

Mots et symboles de cette leçon
réseau récurrent (RNN)
un réseau qui lit un pas à la fois et transporte un état caché vers l'avant
encodeur-décodeur
un RNN lit l'entrée dans un vecteur, un autre écrit la sortie à partir de lui
goulot d'étranglement
le seul vecteur par lequel tout doit passer
À ton tour

Affecte my_guess_16, puis remplis plain_acc : de la longueur vers la justesse moyenne par chiffre des deux exécutions simples.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.