Conteúdo do curso Lição 76 de 246 · Módulo 6: Pesos iniciais e normalização
Módulo 6: Pesos iniciais e normalização

Muito pequeno, muito grande: desaparecimento e explosão

Por que isso importa Um sinal que desaparece significa que cada gradiente é quase zero e o treinamento para. Um sinal explodido significa overflow e nan. Ambos vêm dos pesos iniciais.

Veja isso

Reproduza a animação: a mesma pilha de 20 camadas começou de três formas. Muito pequena, e o sinal desaparece camada por camada até sumir. Muito grande, e ele dobra e dobra até transbordar. Na medida certa, e ele se mantém estável até o fim. O gradiente no caminho de volta sofre o mesmo destino.

Vanishing: ativações ou gradientes diminuindo em direção a zero através das camadas. Exploding: crescendo sem limites.

Palavras e símbolos nesta lição
vanishing, exploding
sinais ou gradientes diminuindo até nada ou crescendo sem limite através das camadas
Xavier, LeCun, He
inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
Sua vez

Usando seu spreads da última lição (fornecido), escreva verdict(scale) retornando "vanish" se o spread final estiver abaixo de 1e-3, "explode" se estiver acima de 1e3, caso contrário "ok". Depois preencha my_predictions para as escalas 0.05, 0.14 e 0.5 antes de rodar.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.