¿Quién recuerda? Las ejecuciones grabadas
Por qué importa El libro de texto dice que las LSTM recuerdan y las RNN simples olvidan. El curso lo puso a prueba, y la respuesta real tiene un giro que conviene saber antes de entrenar una.
El experimento grabado rnn-vs-lstm-memory: la red ve uno de cuatro símbolos, luego un hueco de 5, 15, 30 o 60 símbolos más sacados del mismo alfabeto, y tiene que decir cuál era el primer símbolo. Tres tipos de red, tres semillas cada uno:
- una RNN tanh simple;
- una LSTM cuya puerta de olvido empieza con sesgo 1 (al principio conserva un 73% de la celda por paso);
- una LSTM cuya puerta de olvido empieza con sesgo 3 (un 95%).
Antes de leer las ejecuciones, predice: ¿qué tipo acierta en las tres semillas con un hueco de 60?
Palabras y símbolos de esta lección
- red recurrente (RNN)
- una red que lee un paso cada vez y lleva hacia delante un estado oculto
- LSTM
- una RNN con una celda de memoria c y tres puertas: olvido, entrada, salida
Pon en my_prediction "rnn", "lstm-forget-bias-1" o "lstm-forget-bias-3". Luego rellena successes: (cell, gap) a cuántas de las tres semillas llegaron al menos a un 95% de exactitud de prueba, usando nnsim.recorded.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.