Conteúdo do curso Lição 80 de 246 · Módulo 6: Pesos iniciais e normalização
Módulo 6: Pesos iniciais e normalização

BatchNorm forward e médias móveis

Por que isso importa No momento do treinamento, o BatchNorm usa as estatísticas do próprio batch. Quando o modelo é usado em um exemplo por vez, não existe batch, então ele deve lembrar as estatísticas típicas do treinamento.

Durante o treinamento, mantenha running averages da média e variância de cada característica: running = (1 - momentum) * running + momentum * batch_value, com momentum 0.1. No modo de avaliação, normalize com esses valores running em vez dos do batch.

Modo de treinamento: use estatísticas de lote e atualize as médias móveis. Eval mode: use as médias móveis armazenadas e não mude nada.

Palavras e símbolos nesta lição
Xavier, LeCun, He
inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
BatchNorm (gamma, beta)
normalize cada feature sobre o batch, depois redimensione com gamma e beta aprendidos
Sua vez

Escreva a classe BatchNorm(n, momentum=0.1, eps=1e-5) com gamma (ones), beta (zeros), running_mean (zeros), running_var (ones), uma flag training (começa True) e __call__(X) agindo como descrito. Para running_var, a variância do lote como np.var a calcula (dividindo por n) é a escolha do curso; PyTorch mantém a não enviesada (dividindo por n - 1), e ambas são aceitas.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.