BatchNorm hacia atrás con un lote de 3 números (opcional)
Por qué importa Esta es la regla hacia atrás más difícil de la Parte 1, y es opcional. Su lección: cuando cada salida depende de cada entrada (a través de la media y la dispersión), el gradiente recoge términos extra.
Resuélvelo primero con una característica y un lote de 3. Con x_hat = (x - mean) / spread e y = gamma x_hat + beta, el gradiente respecto a x no es solo gamma / spread por el gradiente que llega. Empujar una x mueve la media y la dispersión, lo que mueve también todas las demás salidas. El resultado, por característica, con g el gradiente que llega y N el tamaño del lote:
dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())
Léelo así: el gradiente simple, menos la parte que solo lo desplazaba todo junto (el término de la media), menos la parte que solo lo estiraba todo junto (el término de la dispersión). La propia normalización cancela esas dos partes.
Si te atascas, una solución resuelta se abre desde las pistas. Saltarte esta lección no bloquea nada.
Palabras y símbolos de esta lección
- Xavier, LeCun, He
- dispersiones iniciales sqrt(2 / (entradas + salidas)) o 1 / sqrt(entradas) para tanh, y sqrt(2 / entradas) para ReLU
- BatchNorm (gamma, beta)
- normaliza cada característica sobre el lote, y luego reescala con gamma y beta aprendidos
Escribe batchnorm_backward(X, gamma, g, eps=1e-5) que devuelva (dX, dgamma, dbeta) para un lote 2D, donde g es el gradiente que llega a la salida.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.