Temario Lección 132 de 246 · Módulo 11: Redes con memoria (RNN)
Módulo 11: Redes con memoria (RNN)

Una lee, otra escribe: el cuello de botella

Por qué importa La traducción funcionaba así: una RNN lee la frase en un solo vector, y otra escribe la salida a partir de él. Ese único vector es un cuello de botella, y verlo fallar es la razón de que se inventara la atención.

Un codificador-decodificador: la RNN codificadora lee la entrada; su estado oculto final se pasa a la RNN decodificadora, que escribe la salida un símbolo cada vez, volviendo a meter cada respuesta. Todo lo que el decodificador sabe de la entrada tiene que pasar apretado por ese único vector de 48 números.

El experimento grabado seq2seq-bottleneck entrenó redes así para escribir al revés una secuencia de dígitos, con longitudes 4, 8, 12 y 16, dos semillas cada una. También entrenó una versión con atención, que conocerás en el Módulo 13. Por ahora, mira solo las simples.

Predice la curva: predice la exactitud por dígito del modelo simple con longitud 16. El azar da un 10%.

Palabras y símbolos de esta lección
red recurrente (RNN)
una red que lee un paso cada vez y lleva hacia delante un estado oculto
codificador-decodificador
una RNN lee la entrada en un vector, y otra escribe la salida a partir de él
cuello de botella
el único vector por el que todo tiene que pasar apretado
Tu turno

Pon my_guess_16, y luego rellena plain_acc: longitud a la exactitud media por dígito de las dos ejecuciones simples.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.