Temario Lección 77 de 246 · Módulo 6: Pesos iniciales y normalización
Módulo 6: Pesos iniciales y normalización

La escala que mantiene estables las señales (Xavier y He)

Por qué importa Hay una respuesta exacta a "¿lo grandes que deberían ser los pesos iniciales?". Úsala y las redes profundas se vuelven entrenables.

Números diminutos

Una salida de una capa suma n_in productos de una entrada por un peso. Si las entradas tienen dispersión 1 y los pesos tienen dispersión s, la suma de n_in términos así tiene dispersión s por sqrt(n_in) (las varianzas se suman: Módulo 2, "Cómo se suma la dispersión"). Para mantenerla en 1, elige s = 1 / sqrt(n_in). Esa es la inicialización de LeCun. La inicialización de Xavier (también llamada de Glorot) mantiene además estables los gradientes de vuelta, que dependen de n_out, así que parte la diferencia: s = sqrt(2 / (n_in + n_out)). Cuando n_in es igual a n_out las dos coinciden. Las dos sirven para tanh.

ReLU tira la mitad negativa, lo que reduce a la mitad el tamaño medio al cuadrado. Compénsalo con el doble de varianza: s = sqrt(2 / n_in). Esa es la inicialización de He, la correcta para ReLU. Con anchura 100, He da sqrt(0.02) = 0.141: exactamente la escala "ok" de la lección anterior.

Resumen tanh: Xavier, sqrt(2 / (n_in + n_out)), o LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).

Palabras y símbolos de esta lección
inicialización
cómo se fijan los pesos antes de que empiece el entrenamiento
Xavier, LeCun, He
dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
Tu turno

Escribe xavier(n_in, n_out, rng) y he(n_in, n_out, rng) que devuelvan matrices de pesos. Con pesos de He, la dispersión de las activaciones después de 20 capas ReLU de anchura 256 debe quedarse entre 0.2 y 5.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.