L'un lit, l'autre écrit : le goulot d'étranglement
Pourquoi c'est important La traduction marchait autrefois comme ça : un RNN lit la phrase dans un seul vecteur, un autre écrit la sortie à partir de lui. Ce seul vecteur est un goulot d'étranglement, et le voir échouer est la raison pour laquelle l'attention a été inventée.
Un encodeur-décodeur : le RNN encodeur lit l'entrée ; son état caché final est transmis au RNN décodeur, qui écrit la sortie un symbole à la fois, en réinjectant chaque réponse. Tout ce que le décodeur sait de l'entrée doit passer par ce seul vecteur de 48 nombres.
L'expérience enregistrée seq2seq-bottleneck a entraîné de tels réseaux à écrire une séquence de chiffres à l'envers, pour des longueurs de 4, 8, 12 et 16, deux graines chacune. Elle a aussi entraîné une version avec attention, que tu rencontreras au module 13. Pour l'instant, ne regarde que les simples.
Prédis la courbe : prédis la justesse par chiffre du modèle simple pour une longueur de 16. Le hasard vaut 10 %.
Mots et symboles de cette leçon
- réseau récurrent (RNN)
- un réseau qui lit un pas à la fois et transporte un état caché vers l'avant
- encodeur-décodeur
- un RNN lit l'entrée dans un vecteur, un autre écrit la sortie à partir de lui
- goulot d'étranglement
- le seul vecteur par lequel tout doit passer
Affecte my_guess_16, puis remplis plain_acc : de la longueur vers la justesse moyenne par chiffre des deux exécutions simples.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.