ReLUs mortas
Por que isso importa Uma ReLU que está desligada para cada entrada não passa nenhum gradiente, então ela nunca aprende de novo. Camadas inteiras podem morrer silenciosamente.
A está morta se sua saída for zero para cada exemplo em um lote. Causas comuns: um viés negativo grande, ou uma atualização enorme que empurrou seus pesos para muito negativo.
Números pequenos
Ativações para 4 exemplos e 3 unidades: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]. Unidade 1 é zero em todo lugar: morta. Unidade 3 disparou uma vez: viva. Fração morta: 1 de 3.
Correções: pesos iniciais sensatos, biases começando em 0 (ou levemente positivos), uma taxa de aprendizado menor, ou leaky ReLU, que mantém uma pequena inclinação (digamos 0.01) para entradas negativas para que a unidade possa se recuperar.
Palavras e símbolos nesta lição
- Xavier, LeCun, He
- inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
Escreva dead_fraction(H) para uma matriz de ativação (exemplos por unidades). Depois, para a camada abaixo, que começou com biases de -4, escreva fixed_layer(X, W) que mantém os mesmos weights mas usa biases de zero e um leaky ReLU com slope 0.01; sua fração morta (contando saídas exatamente zero) deve ser 0.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.