Temario Lección 81 de 246 · Módulo 6: Pesos iniciales y normalización
Módulo 6: Pesos iniciales y normalización

BatchNorm hacia atrás con un lote de 3 números (opcional)

Por qué importa Esta es la regla hacia atrás más difícil de la Parte 1, y es opcional. Su lección: cuando cada salida depende de cada entrada (a través de la media y la dispersión), el gradiente recoge términos extra.

Resuélvelo primero con una característica y un lote de 3. Con x_hat = (x - mean) / spread e y = gamma x_hat + beta, el gradiente respecto a x no es solo gamma / spread por el gradiente que llega. Empujar una x mueve la media y la dispersión, lo que mueve también todas las demás salidas. El resultado, por característica, con g el gradiente que llega y N el tamaño del lote:

dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())

Léelo así: el gradiente simple, menos la parte que solo lo desplazaba todo junto (el término de la media), menos la parte que solo lo estiraba todo junto (el término de la dispersión). La propia normalización cancela esas dos partes.

Si te atascas, una solución resuelta se abre desde las pistas. Saltarte esta lección no bloquea nada.

Palabras y símbolos de esta lección
Xavier, LeCun, He
dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
BatchNorm (gamma, beta)
normaliza cada característica sobre el lote, y luego reescala con gamma y beta aprendidos
Tu turno

Escribe batchnorm_backward(X, gamma, g, eps=1e-5) que devuelva (dX, dgamma, dbeta) para un lote 2D, donde g es el gradiente que llega a la salida.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.