Conteúdo do curso Lição 79 de 246 · Módulo 6: Pesos iniciais e normalização
Módulo 6: Pesos iniciais e normalização

O que o BatchNorm faz com os números

Por que isso importa BatchNorm tornou redes muito profundas treináveis em 2015. Veja o que ele faz com os números antes de construí-lo.

Veja isso

Reproduza a animação. As saídas de uma camada chegam com sua própria média e dispersão por característica, algumas enormes, algumas minúsculas, algumas deslocadas. O BatchNorm pega cada característica, sobre o batch atual, subtrai sua média e divide por sua dispersão. Agora cada característica tem média 0 e dispersão 1. Depois, ele multiplica por um gamma aprendido e soma um beta aprendido, para que a rede possa escolher uma escala diferente se isso ajudar.

Uma nota honesta: por que o BatchNorm ajuda ainda é debatido. A explicação do artigo original ("internal covariate shift") não é mais a aceita; paisagens de perda mais suaves e permitir taxas de aprendizado maiores são razões melhor suportadas. O que ele faz com os números não é duvidoso.

BatchNorm: normalize cada feature usando as estatísticas do lote atual, depois redimensione com gamma e beta aprendidos.

Palavras e símbolos nesta lição
Xavier, LeCun, He
inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
BatchNorm (gamma, beta)
normalize cada feature sobre o batch, depois redimensione com gamma e beta aprendidos
Sua vez

Preveja antes de computar: uma feature tem valores [2, 4, 6, 8] em um batch, gamma é 3 e beta é 1. Defina my_output para os quatro números que o BatchNorm produz (use eps = 0). Depois escreva batchnorm_forward(X, gamma, beta, eps=1e-5) para um batch 2D.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.