Demasiado pequeño, demasiado grande: desvanecimiento y explosión
Por qué importa Una señal desvanecida significa que cada gradiente es casi cero y el entrenamiento se atasca. Una que explota significa desbordamiento y nan. Las dos cosas vienen de los pesos iniciales.
Míralo
Reproduce la animación: la misma pila de 20 capas empezada de tres maneras. Demasiado pequeña, y la señal se apaga capa a capa hasta quedarse en nada. Demasiado grande, y se duplica y se duplica hasta desbordarse. Justo, y se mantiene estable todo el camino. El gradiente de vuelta sufre la misma suerte.
Desvanecimiento: las activaciones o los gradientes encogen hacia cero a través de las capas. Explosión: crecen sin límite.
Palabras y símbolos de esta lección
- desvanecimiento, explosión
- señales o gradientes que encogen hasta nada o crecen sin límite a través de las capas
- Xavier, LeCun, He
- dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
Usando tu spreads de la lección anterior (ya incluida), escribe verdict(scale) que devuelva "vanish" si la dispersión final queda por debajo de 1e-3, "explode" si pasa de 1e3, y si no "ok". Luego rellena my_predictions para las escalas 0.05, 0.14 y 0.5 antes de ejecutar.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.