O que o BatchNorm faz com os números
Por que isso importa BatchNorm tornou redes muito profundas treináveis em 2015. Veja o que ele faz com os números antes de construí-lo.
Veja isso
Reproduza a animação. As saídas de uma camada chegam com sua própria média e dispersão por característica, algumas enormes, algumas minúsculas, algumas deslocadas. O BatchNorm pega cada característica, sobre o batch atual, subtrai sua média e divide por sua dispersão. Agora cada característica tem média 0 e dispersão 1. Depois, ele multiplica por um gamma aprendido e soma um beta aprendido, para que a rede possa escolher uma escala diferente se isso ajudar.
Uma nota honesta: por que o BatchNorm ajuda ainda é debatido. A explicação do artigo original ("internal covariate shift") não é mais a aceita; paisagens de perda mais suaves e permitir taxas de aprendizado maiores são razões melhor suportadas. O que ele faz com os números não é duvidoso.
BatchNorm: normalize cada feature usando as estatísticas do lote atual, depois redimensione com gamma e beta aprendidos.
Palavras e símbolos nesta lição
- Xavier, LeCun, He
- inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
- BatchNorm (gamma, beta)
- normalize cada feature sobre o batch, depois redimensione com gamma e beta aprendidos
Preveja antes de computar: uma feature tem valores [2, 4, 6, 8] em um batch, gamma é 3 e beta é 1. Defina my_output para os quatro números que o BatchNorm produz (use eps = 0). Depois escreva batchnorm_forward(X, gamma, beta, eps=1e-5) para um batch 2D.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.