Lo que BatchNorm les hace a los números
Por qué importa BatchNorm hizo entrenables las redes muy profundas en 2015. Mira lo que les hace a los números antes de construirlo.
Míralo
Reproduce la animación. Las salidas de una capa llegan con su propia media y dispersión por característica, algunas enormes, otras diminutas, otras desplazadas. BatchNorm toma cada característica, sobre el lote actual, le resta su media y la divide entre su dispersión. Ahora cada característica tiene media 0 y dispersión 1. Luego la multiplica por un gamma aprendido y le suma un beta aprendido, para que la red pueda elegir otra escala si eso ayuda.
Una nota honesta: por qué ayuda BatchNorm todavía se debate. La explicación del artículo original ("desplazamiento interno de covariables") ya no es la aceptada; paisajes de pérdida más suaves y permitir tasas de aprendizaje más grandes son razones mejor respaldadas. Lo que les hace a los números no está en duda.
BatchNorm: normaliza cada característica usando las estadísticas del lote actual, y luego reescala con gamma y beta aprendidos.
Palabras y símbolos de esta lección
- Xavier, LeCun, He
- dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
- BatchNorm (gamma, beta)
- normaliza cada característica sobre el lote, y luego reescala con gamma y beta aprendidos
Predice antes de calcular: una característica tiene los valores [2, 4, 6, 8] en un lote, gamma vale 3 y beta vale 1. Pon en my_output los cuatro números que produce BatchNorm (usa eps = 0). Luego escribe batchnorm_forward(X, gamma, beta, eps=1e-5) para un lote 2D.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.