Sinais através de 20 camadas
Por que isso importa Antes de uma rede profunda aprender qualquer coisa, o sinal deve sobreviver à viagem por cada camada. Muitas vezes ele não sobrevive, e nenhum optimiser pode consertar isso.
Passe um lote de entradas aleatórias por 20 camadas de h = relu(h @ W), com cada peso extraído de uma distribuição normal de algum desvio. Após cada camada, meça o desvio (desvio padrão) das ativações.
Números pequenos
Cada camada multiplica o tamanho típico do sinal por aproximadamente o mesmo fator. Se esse fator for 0.5, após 20 camadas o sinal é 0.5 elevado à 20ª potência: cerca de um milionésimo. Se for 2, ele é cerca de um milhão de vezes maior. Apenas um fator próximo de 1 sobrevive.
Resumo Depth transforma pequenas mudanças por camada em mudanças enormes.
Palavras e símbolos nesta lição
- Xavier, LeCun, He
- inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
Escreva spreads(scale, depth=20, width=100, seed=0): comece a partir de h = rng.standard_normal((256, width)), depois para cada camada desenhe W = rng.normal(0, scale, (width, width)) e defina h = relu(h @ W). Retorne a list of h.std() após cada camada.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.