Una lee, otra escribe: el cuello de botella
Por qué importa La traducción funcionaba así: una RNN lee la frase en un solo vector, y otra escribe la salida a partir de él. Ese único vector es un cuello de botella, y verlo fallar es la razón de que se inventara la atención.
Un codificador-decodificador: la RNN codificadora lee la entrada; su estado oculto final se pasa a la RNN decodificadora, que escribe la salida un símbolo cada vez, volviendo a meter cada respuesta. Todo lo que el decodificador sabe de la entrada tiene que pasar apretado por ese único vector de 48 números.
El experimento grabado seq2seq-bottleneck entrenó redes así para escribir al revés una secuencia de dígitos, con longitudes 4, 8, 12 y 16, dos semillas cada una. También entrenó una versión con atención, que conocerás en el Módulo 13. Por ahora, mira solo las simples.
Predice la curva: predice la exactitud por dígito del modelo simple con longitud 16. El azar da un 10%.
Palabras y símbolos de esta lección
- red recurrente (RNN)
- una red que lee un paso cada vez y lleva hacia delante un estado oculto
- codificador-decodificador
- una RNN lee la entrada en un vector, y otra escribe la salida a partir de él
- cuello de botella
- el único vector por el que todo tiene que pasar apretado
Pon my_guess_16, y luego rellena plain_acc: longitud a la exactitud media por dígito de las dos ejecuciones simples.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.