Temario Lección 128 de 246 · Módulo 11: Redes con memoria (RNN)
Módulo 11: Redes con memoria (RNN)

Gradientes que se desvanecen y que explotan, medidos

Por qué importa Acabas de ver que el gradiente de un paso temprano se multiplica por w una vez por paso. Con muchos pasos, ese producto o se encoge hasta nada o explota. Esta es la principal debilidad de las RNN simples.

Con una matriz de pesos W en vez de un número, retroceder un paso multiplica el gradiente por W traspuesta (ignorando la tanh, que solo puede encogerlo más). Un paso puede hacer crecer un vector como mucho en el mayor estiramiento de W, su norma espectral. A lo largo de muchos pasos lo que cuenta es el radio espectral, el tamaño del mayor valor propio de W (Módulo 2, "Cómo se suma la dispersión, y qué estira una matriz"): tras k pasos el tamaño ha cambiado más o menos r elevado a k. (Para las rotaciones que se usan abajo, los dos son el mismo número, r.) r = 0.9 durante 50 pasos: 0.005. r = 1.1 durante 50 pasos: 117.

Dos curas distintas

Los gradientes que explotan tienen una cura tosca: recortarlos (Módulo 5). Los que se desvanecen no tienen una cura así. El gradiente total de un peso es una suma sobre cada distancia hacia atrás en el tiempo; cuando los términos de largo alcance se encogen como 0.9 elevado a 50, quedan ahogados por los de corto alcance, y escalar toda la suma hacia arriba escala también el ruido. La red simplemente no puede saber que algo de muy atrás importaba. Ahí la cura es otra arquitectura: la LSTM, a continuación.

Palabras y símbolos de esta lección
red recurrente (RNN)
una red que lee un paso cada vez y lleva hacia delante un estado oculto
gradiente que se desvanece / que explota
un gradiente multiplicado muchas veces por la misma matriz se encoge hasta nada o explota
LSTM
una RNN con una celda de memoria c y tres puertas: olvido, entrada, salida
Tu turno

Escribe gradient_sizes(W, steps): empieza con un gradiente de unos, multiplica por W.T una vez por paso, y devuelve la lista de normas (una por paso). Luego pon en verdicts "vanish", "steady" o "explode" para las tres matrices, según la norma tras 50 pasos (por debajo de 0.01, entre 0.01 y 100, por encima de 100).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.