Muito pequeno, muito grande: desaparecimento e explosão
Por que isso importa Um sinal que desaparece significa que cada gradiente é quase zero e o treinamento para. Um sinal explodido significa overflow e nan. Ambos vêm dos pesos iniciais.
Veja isso
Reproduza a animação: a mesma pilha de 20 camadas começou de três formas. Muito pequena, e o sinal desaparece camada por camada até sumir. Muito grande, e ele dobra e dobra até transbordar. Na medida certa, e ele se mantém estável até o fim. O gradiente no caminho de volta sofre o mesmo destino.
Vanishing: ativações ou gradientes diminuindo em direção a zero através das camadas. Exploding: crescendo sem limites.
Palavras e símbolos nesta lição
- vanishing, exploding
- sinais ou gradientes diminuindo até nada ou crescendo sem limite através das camadas
- Xavier, LeCun, He
- inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
Usando seu spreads da última lição (fornecido), escreva verdict(scale) retornando "vanish" se o spread final estiver abaixo de 1e-3, "explode" se estiver acima de 1e3, caso contrário "ok". Depois preencha my_predictions para as escalas 0.05, 0.14 e 0.5 antes de rodar.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.