BatchNorm backward em um lote de 3 números (opcional)
Por que isso importa Esta é a regra reversa mais difícil da Parte 1, e é opcional. Sua lição: quando cada saída depende de cada entrada (através da média e do desvio), o gradiente ganha termos extras.
Trabalhe em uma funcionalidade com um lote de 3 primeiro. Com x_hat = (x - mean) / spread e y = gamma x_hat + beta, o gradiente em relação a x não é apenas gamma / spread vezes o gradiente recebido. Ajustar um x move a mean e o spread, o que move cada outro output também. O resultado, por funcionalidade, com g o gradiente recebido e N o tamanho do lote:
dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())
Leia como: o gradiente puro, menos a parte que apenas deslocou tudo junto (o termo da média), menos a parte que apenas esticou tudo junto (o termo da dispersão). Essas duas partes são canceladas pela própria normalização.
A solução resolvida abre a partir das dicas se você travar. Pular esta lição não bloqueia nada.
Palavras e símbolos nesta lição
- Xavier, LeCun, He
- inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
- BatchNorm (gamma, beta)
- normalize cada feature sobre o batch, depois redimensione com gamma e beta aprendidos
Escreva batchnorm_backward(X, gamma, g, eps=1e-5) retornando (dX, dgamma, dbeta) para um batch 2D, onde g é o gradiente chegando na saída.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.