Conteúdo do curso Lição 75 de 246 · Módulo 6: Pesos iniciais e normalização
Módulo 6: Pesos iniciais e normalização

Sinais através de 20 camadas

Por que isso importa Antes de uma rede profunda aprender qualquer coisa, o sinal deve sobreviver à viagem por cada camada. Muitas vezes ele não sobrevive, e nenhum optimiser pode consertar isso.

Passe um lote de entradas aleatórias por 20 camadas de h = relu(h @ W), com cada peso extraído de uma distribuição normal de algum desvio. Após cada camada, meça o desvio (desvio padrão) das ativações.

Números pequenos

Cada camada multiplica o tamanho típico do sinal por aproximadamente o mesmo fator. Se esse fator for 0.5, após 20 camadas o sinal é 0.5 elevado à 20ª potência: cerca de um milionésimo. Se for 2, ele é cerca de um milhão de vezes maior. Apenas um fator próximo de 1 sobrevive.

Resumo Depth transforma pequenas mudanças por camada em mudanças enormes.

Palavras e símbolos nesta lição
Xavier, LeCun, He
inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
Sua vez

Escreva spreads(scale, depth=20, width=100, seed=0): comece a partir de h = rng.standard_normal((256, width)), depois para cada camada desenhe W = rng.normal(0, scale, (width, width)) e defina h = relu(h @ W). Retorne a list of h.std() após cada camada.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.