A escala que mantém os sinais estáveis (Xavier e He)
Por que isso importa Existe uma resposta exata para "quão grandes devem ser os pesos iniciais". Use isso e redes profundas se tornam treináveis.
Números pequenos
Uma saída de uma camada soma n_in produtos de uma entrada e um peso. Se as entradas têm dispersão 1 e os pesos têm dispersão s, a soma de n_in desses termos tem dispersão s vezes sqrt(n_in) (variâncias se somam: Módulo 2, "How spread adds up"). Para mantê-la em 1, escolha s = 1 / sqrt(n_in). Isso é a inicialização LeCun. A inicialização Xavier (também chamada de Glorot) também mantém os gradientes estáveis no caminho de volta, que dependem de n_out, então ela divide a diferença: s = sqrt(2 / (n_in + n_out)). Quando n_in é igual a n_out, as duas são iguais. Ambas servem para tanh.
ReLU descarta a metade negativa, o que reduz pela metade o tamanho médio ao quadrado. Compense isso com o dobro da variância: s = sqrt(2 / n_in). Essa é a inicialização He, correta para ReLU. Com largura 100, He dá sqrt(0.02) = 0.141: exatamente a escala "ok" da última lição.
Resumo tanh: Xavier, sqrt(2 / (n_in + n_out)), ou LeCun, 1 / sqrt(n_in). ReLU: He, sqrt(2 / n_in).
Palavras e símbolos nesta lição
- inicialização
- como os pesos são definidos antes do treinamento começar
- Xavier, LeCun, He
- inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
Escreva xavier(n_in, n_out, rng) e he(n_in, n_out, rng) retornando weight matrices. Com He weights, o spread de ativação após 20 camadas ReLU de largura 256 deve ficar entre 0.2 e 5.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.