Temario Lección 129 de 246 · Módulo 11: Redes con memoria (RNN)
Módulo 11: Redes con memoria (RNN)

Las puertas de la LSTM, construidas

Por qué importa La LSTM (1997, con la puerta de olvido que se enseña aquí añadida en 2000) arregló el problema de memoria de la RNN e impulsó el reconocimiento de voz y la traducción durante veinte años. Su truco es simple en cuanto lo ves.

Míralo

Reproduce la animación. Además del estado oculto h, una LSTM guarda una celda c, una cinta transportadora de memoria. Tres puertas, cada una una sigmoide entre 0 y 1, deciden qué le pasa:

  • puerta de olvido f: cuánto conservar de la celda antigua;
  • puerta de entrada i: cuánta información nueva g escribir;
  • puerta de salida o: cuánto de la celda mostrar como h.
z = [x, h] @ W + b            # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)

La línea clave es c = f * c + i * g. Retrocediendo un paso, el gradiente de la celda se multiplica por f, y nada más: ninguna multiplicación repetida por una matriz de pesos. Aun así se encoge en f cada paso, así que tras k pasos es f elevado a k. Con f = 0.95 eso es 0.08 tras 50 pasos; con f = 0.999 es 0.95. Así que una LSTM recuerda lejos cuando sus puertas de olvido se quedan muy cerca de 1, y la siguiente lección mide cuánto de cerca es lo bastante cerca.

Palabras y símbolos de esta lección
red recurrente (RNN)
una red que lee un paso cada vez y lleva hacia delante un estado oculto
estado oculto h
el vector corto de números que una RNN lleva de paso en paso
LSTM
una RNN con una celda de memoria c y tres puertas: olvido, entrada, salida
Tu turno

Escribe lstm_step(x, h, c, W, b) que devuelva (h, c), con W de forma (entradas + oculto, 4 * oculto) y los cuatro cuartos en el orden i, f, g, o. Las entradas van por lotes: x es (lote, entradas), h y c son (lote, oculto), así que une x y h a lo largo del eje 1.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.