Las puertas de la LSTM, construidas
Por qué importa La LSTM (1997, con la puerta de olvido que se enseña aquí añadida en 2000) arregló el problema de memoria de la RNN e impulsó el reconocimiento de voz y la traducción durante veinte años. Su truco es simple en cuanto lo ves.
Míralo
Reproduce la animación. Además del estado oculto h, una LSTM guarda una celda c, una cinta transportadora de memoria. Tres puertas, cada una una sigmoide entre 0 y 1, deciden qué le pasa:
- puerta de olvido f: cuánto conservar de la celda antigua;
- puerta de entrada i: cuánta información nueva g escribir;
- puerta de salida o: cuánto de la celda mostrar como h.
z = [x, h] @ W + b # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)
La línea clave es c = f * c + i * g. Retrocediendo un paso, el gradiente de la celda se multiplica por f, y nada más: ninguna multiplicación repetida por una matriz de pesos. Aun así se encoge en f cada paso, así que tras k pasos es f elevado a k. Con f = 0.95 eso es 0.08 tras 50 pasos; con f = 0.999 es 0.95. Así que una LSTM recuerda lejos cuando sus puertas de olvido se quedan muy cerca de 1, y la siguiente lección mide cuánto de cerca es lo bastante cerca.
Palabras y símbolos de esta lección
- red recurrente (RNN)
- una red que lee un paso cada vez y lleva hacia delante un estado oculto
- estado oculto h
- el vector corto de números que una RNN lleva de paso en paso
- LSTM
- una RNN con una celda de memoria c y tres puertas: olvido, entrada, salida
Escribe lstm_step(x, h, c, W, b) que devuelva (h, c), con W de forma (entradas + oculto, 4 * oculto) y los cuatro cuartos en el orden i, f, g, o. Las entradas van por lotes: x es (lote, entradas), h y c son (lote, oculto), así que une x y h a lo largo del eje 1.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.