Conteúdo do curso Lição 77 de 246 · Módulo 6: Pesos iniciais e normalização
Módulo 6: Pesos iniciais e normalização

A escala que mantém os sinais estáveis (Xavier e He)

Por que isso importa Existe uma resposta exata para "quão grandes devem ser os pesos iniciais". Use isso e redes profundas se tornam treináveis.

Números pequenos

Uma saída de uma camada soma n_in produtos de uma entrada e um peso. Se as entradas têm dispersão 1 e os pesos têm dispersão s, a soma de n_in desses termos tem dispersão s vezes sqrt(n_in) (variâncias se somam: Módulo 2, "How spread adds up"). Para mantê-la em 1, escolha s = 1 / sqrt(n_in). Isso é a inicialização LeCun. A inicialização Xavier (também chamada de Glorot) também mantém os gradientes estáveis no caminho de volta, que dependem de n_out, então ela divide a diferença: s = sqrt(2 / (n_in + n_out)). Quando n_in é igual a n_out, as duas são iguais. Ambas servem para tanh.

ReLU descarta a metade negativa, o que reduz pela metade o tamanho médio ao quadrado. Compense isso com o dobro da variância: s = sqrt(2 / n_in). Essa é a inicialização He, correta para ReLU. Com largura 100, He dá sqrt(0.02) = 0.141: exatamente a escala "ok" da última lição.

Resumo tanh: Xavier, sqrt(2 / (n_in + n_out)), ou LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).

Palavras e símbolos nesta lição
inicialização
como os pesos são definidos antes do treinamento começar
Xavier, LeCun, He
inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
Sua vez

Escreva xavier(n_in, n_out, rng) e he(n_in, n_out, rng) retornando weight matrices. Com He weights, o spread de ativação após 20 camadas ReLU de largura 256 deve ficar entre 0.2 e 5.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.