BatchNorm forward e médias móveis
Por que isso importa No momento do treinamento, o BatchNorm usa as estatísticas do próprio batch. Quando o modelo é usado em um exemplo por vez, não existe batch, então ele deve lembrar as estatísticas típicas do treinamento.
Durante o treinamento, mantenha running averages da média e variância de cada característica: running = (1 - momentum) * running + momentum * batch_value, com momentum 0.1. No modo de avaliação, normalize com esses valores running em vez dos do batch.
Modo de treinamento: use estatísticas de lote e atualize as médias móveis. Eval mode: use as médias móveis armazenadas e não mude nada.
Palavras e símbolos nesta lição
- Xavier, LeCun, He
- inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
- BatchNorm (gamma, beta)
- normalize cada feature sobre o batch, depois redimensione com gamma e beta aprendidos
Escreva a classe BatchNorm(n, momentum=0.1, eps=1e-5) com gamma (ones), beta (zeros), running_mean (zeros), running_var (ones), uma flag training (começa True) e __call__(X) agindo como descrito. Para running_var, a variância do lote como np.var a calcula (dividindo por n) é a escolha do curso; PyTorch mantém a não enviesada (dividindo por n - 1), e ambas são aceitas.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.