Gradientes que se desvanecen y que explotan, medidos
Por qué importa Acabas de ver que el gradiente de un paso temprano se multiplica por w una vez por paso. Con muchos pasos, ese producto o se encoge hasta nada o explota. Esta es la principal debilidad de las RNN simples.
Con una matriz de pesos W en vez de un número, retroceder un paso multiplica el gradiente por W traspuesta (ignorando la tanh, que solo puede encogerlo más). Un paso puede hacer crecer un vector como mucho en el mayor estiramiento de W, su norma espectral. A lo largo de muchos pasos lo que cuenta es el radio espectral, el tamaño del mayor valor propio de W (Módulo 2, "Cómo se suma la dispersión, y qué estira una matriz"): tras k pasos el tamaño ha cambiado más o menos r elevado a k. (Para las rotaciones que se usan abajo, los dos son el mismo número, r.) r = 0.9 durante 50 pasos: 0.005. r = 1.1 durante 50 pasos: 117.
Dos curas distintas
Los gradientes que explotan tienen una cura tosca: recortarlos (Módulo 5). Los que se desvanecen no tienen una cura así. El gradiente total de un peso es una suma sobre cada distancia hacia atrás en el tiempo; cuando los términos de largo alcance se encogen como 0.9 elevado a 50, quedan ahogados por los de corto alcance, y escalar toda la suma hacia arriba escala también el ruido. La red simplemente no puede saber que algo de muy atrás importaba. Ahí la cura es otra arquitectura: la LSTM, a continuación.
Palabras y símbolos de esta lección
- red recurrente (RNN)
- una red que lee un paso cada vez y lleva hacia delante un estado oculto
- gradiente que se desvanece / que explota
- un gradiente multiplicado muchas veces por la misma matriz se encoge hasta nada o explota
- LSTM
- una RNN con una celda de memoria c y tres puertas: olvido, entrada, salida
Escribe gradient_sizes(W, steps): empieza con un gradiente de unos, multiplica por W.T una vez por paso, y devuelve la lista de normas (una por paso). Luego pon en verdicts "vanish", "steady" o "explode" para las tres matrices, según la norma tras 50 pasos (por debajo de 0.01, entre 0.01 y 100, por encima de 100).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.