Temario Lección 79 de 246 · Módulo 6: Pesos iniciales y normalización
Módulo 6: Pesos iniciales y normalización

Lo que BatchNorm les hace a los números

Por qué importa BatchNorm hizo entrenables las redes muy profundas en 2015. Mira lo que les hace a los números antes de construirlo.

Míralo

Reproduce la animación. Las salidas de una capa llegan con su propia media y dispersión por característica, algunas enormes, otras diminutas, otras desplazadas. BatchNorm toma cada característica, sobre el lote actual, le resta su media y la divide entre su dispersión. Ahora cada característica tiene media 0 y dispersión 1. Luego la multiplica por un gamma aprendido y le suma un beta aprendido, para que la red pueda elegir otra escala si eso ayuda.

Una nota honesta: por qué ayuda BatchNorm todavía se debate. La explicación del artículo original ("desplazamiento interno de covariables") ya no es la aceptada; paisajes de pérdida más suaves y permitir tasas de aprendizaje más grandes son razones mejor respaldadas. Lo que les hace a los números no está en duda.

BatchNorm: normaliza cada característica usando las estadísticas del lote actual, y luego reescala con gamma y beta aprendidos.

Palabras y símbolos de esta lección
Xavier, LeCun, He
dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
BatchNorm (gamma, beta)
normaliza cada característica sobre el lote, y luego reescala con gamma y beta aprendidos
Tu turno

Predice antes de calcular: una característica tiene los valores [2, 4, 6, 8] en un lote, gamma vale 3 y beta vale 1. Pon en my_output los cuatro números que produce BatchNorm (usa eps = 0). Luego escribe batchnorm_forward(X, gamma, beta, eps=1e-5) para un lote 2D.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.