La escala que mantiene estables las señales (Xavier y He)
Por qué importa Hay una respuesta exacta a "¿lo grandes que deberían ser los pesos iniciales?". Úsala y las redes profundas se vuelven entrenables.
Números diminutos
Una salida de una capa suma n_in productos de una entrada por un peso. Si las entradas tienen dispersión 1 y los pesos tienen dispersión s, la suma de n_in términos así tiene dispersión s por sqrt(n_in) (las varianzas se suman: Módulo 2, "Cómo se suma la dispersión"). Para mantenerla en 1, elige s = 1 / sqrt(n_in). Esa es la inicialización de LeCun. La inicialización de Xavier (también llamada de Glorot) mantiene además estables los gradientes de vuelta, que dependen de n_out, así que parte la diferencia: s = sqrt(2 / (n_in + n_out)). Cuando n_in es igual a n_out las dos coinciden. Las dos sirven para tanh.
ReLU tira la mitad negativa, lo que reduce a la mitad el tamaño medio al cuadrado. Compénsalo con el doble de varianza: s = sqrt(2 / n_in). Esa es la inicialización de He, la correcta para ReLU. Con anchura 100, He da sqrt(0.02) = 0.141: exactamente la escala "ok" de la lección anterior.
Resumen tanh: Xavier, sqrt(2 / (n_in + n_out)), o LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).
Palabras y símbolos de esta lección
- inicialización
- cómo se fijan los pesos antes de que empiece el entrenamiento
- Xavier, LeCun, He
- dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
Escribe xavier(n_in, n_out, rng) y he(n_in, n_out, rng) que devuelvan matrices de pesos. Con pesos de He, la dispersión de las activaciones después de 20 capas ReLU de anchura 256 debe quedarse entre 0.2 y 5.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.