Dropout, construído
Por que isso importa Dropout é uma forma simples de impedir que uma rede dependa demais de qualquer unidade individual, e você verá isso dentro de muitos modelos.
Durante o treinamento, o dropout desliga cada unidade aleatoriamente com probabilidade p (digamos 0.5) em cada step. A rede não pode depender de uma única unidade, porque ela pode sumir no próximo step, então ela espalha o que sabe por muitas.
Mantendo a média correta
Se metade das unidades estiverem desligadas, a próxima camada recebe cerca de metade do sinal. O inverted dropout moderno corrige isso durante o treinamento: as unidades que sobrevivem são multiplicadas por 1 / (1 - p), aqui 2. No momento da avaliação, o dropout não faz nada, e o sinal médio corresponde ao treinamento. (O artigo original de 2014 escalava no momento da avaliação em vez disso; o resultado é o mesmo, mas o inverted dropout mantém o código de avaliação intacto.)
Taxa de Dropout p: a probabilidade de desligar uma unidade durante o treinamento.
Palavras e símbolos nesta lição
- dropout (p)
- desligando unidades aleatoriamente com probabilidade p durante o treinamento
Escreva dropout(h, p, training, rng): no treinamento, zere cada entrada com probabilidade p e escale os sobreviventes por 1 / (1 - p); caso contrário, retorne h inalterado. Use rng.random(h.shape) >= p como a máscara de retenção.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.