Temario Lección 130 de 246 · Módulo 11: Redes con memoria (RNN)
Módulo 11: Redes con memoria (RNN)

¿Quién recuerda? Las ejecuciones grabadas

Por qué importa El libro de texto dice que las LSTM recuerdan y las RNN simples olvidan. El curso lo puso a prueba, y la respuesta real tiene un giro que conviene saber antes de entrenar una.

El experimento grabado rnn-vs-lstm-memory: la red ve uno de cuatro símbolos, luego un hueco de 5, 15, 30 o 60 símbolos más sacados del mismo alfabeto, y tiene que decir cuál era el primer símbolo. Tres tipos de red, tres semillas cada uno:

  • una RNN tanh simple;
  • una LSTM cuya puerta de olvido empieza con sesgo 1 (al principio conserva un 73% de la celda por paso);
  • una LSTM cuya puerta de olvido empieza con sesgo 3 (un 95%).

Antes de leer las ejecuciones, predice: ¿qué tipo acierta en las tres semillas con un hueco de 60?

Palabras y símbolos de esta lección
red recurrente (RNN)
una red que lee un paso cada vez y lleva hacia delante un estado oculto
LSTM
una RNN con una celda de memoria c y tres puertas: olvido, entrada, salida
Tu turno

Pon en my_prediction "rnn", "lstm-forget-bias-1" o "lstm-forget-bias-3". Luego rellena successes: (cell, gap) a cuántas de las tres semillas llegaron al menos a un 95% de exactitud de prueba, usando nnsim.recorded.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.