Conteúdo do curso Lição 81 de 246 · Módulo 6: Pesos iniciais e normalização
Módulo 6: Pesos iniciais e normalização

BatchNorm backward em um lote de 3 números (opcional)

Por que isso importa Esta é a regra reversa mais difícil da Parte 1, e é opcional. Sua lição: quando cada saída depende de cada entrada (através da média e do desvio), o gradiente ganha termos extras.

Trabalhe em uma funcionalidade com um lote de 3 primeiro. Com x_hat = (x - mean) / spread e y = gamma x_hat + beta, o gradiente em relação a x não é apenas gamma / spread vezes o gradiente recebido. Ajustar um x move a mean e o spread, o que move cada outro output também. O resultado, por funcionalidade, com g o gradiente recebido e N o tamanho do lote:

dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())

Leia como: o gradiente puro, menos a parte que apenas deslocou tudo junto (o termo da média), menos a parte que apenas esticou tudo junto (o termo da dispersão). Essas duas partes são canceladas pela própria normalização.

A solução resolvida abre a partir das dicas se você travar. Pular esta lição não bloqueia nada.

Palavras e símbolos nesta lição
Xavier, LeCun, He
inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
BatchNorm (gamma, beta)
normalize cada feature sobre o batch, depois redimensione com gamma e beta aprendidos
Sua vez

Escreva batchnorm_backward(X, gamma, g, eps=1e-5) retornando (dX, dgamma, dbeta) para um batch 2D, onde g é o gradiente chegando na saída.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.