Temario Lección 76 de 246 · Módulo 6: Pesos iniciales y normalización
Módulo 6: Pesos iniciales y normalización

Demasiado pequeño, demasiado grande: desvanecimiento y explosión

Por qué importa Una señal desvanecida significa que cada gradiente es casi cero y el entrenamiento se atasca. Una que explota significa desbordamiento y nan. Las dos cosas vienen de los pesos iniciales.

Míralo

Reproduce la animación: la misma pila de 20 capas empezada de tres maneras. Demasiado pequeña, y la señal se apaga capa a capa hasta quedarse en nada. Demasiado grande, y se duplica y se duplica hasta desbordarse. Justo, y se mantiene estable todo el camino. El gradiente de vuelta sufre la misma suerte.

Desvanecimiento: las activaciones o los gradientes encogen hacia cero a través de las capas. Explosión: crecen sin límite.

Palabras y símbolos de esta lección
desvanecimiento, explosión
señales o gradientes que encogen hasta nada o crecen sin límite a través de las capas
Xavier, LeCun, He
dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
Tu turno

Usando tu spreads de la lección anterior (ya incluida), escribe verdict(scale) que devuelva "vanish" si la dispersión final queda por debajo de 1e-3, "explode" si pasa de 1e3, y si no "ok". Luego rellena my_predictions para las escalas 0.05, 0.14 y 0.5 antes de ejecutar.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.