Conteúdo do curso Lição 88 de 246 · Módulo 7: Trabalhando com novos dados
Módulo 7: Trabalhando com novos dados

Dropout, construído

Por que isso importa Dropout é uma forma simples de impedir que uma rede dependa demais de qualquer unidade individual, e você verá isso dentro de muitos modelos.

Durante o treinamento, o dropout desliga cada unidade aleatoriamente com probabilidade p (digamos 0.5) em cada step. A rede não pode depender de uma única unidade, porque ela pode sumir no próximo step, então ela espalha o que sabe por muitas.

Mantendo a média correta

Se metade das unidades estiverem desligadas, a próxima camada recebe cerca de metade do sinal. O inverted dropout moderno corrige isso durante o treinamento: as unidades que sobrevivem são multiplicadas por 1 / (1 - p), aqui 2. No momento da avaliação, o dropout não faz nada, e o sinal médio corresponde ao treinamento. (O artigo original de 2014 escalava no momento da avaliação em vez disso; o resultado é o mesmo, mas o inverted dropout mantém o código de avaliação intacto.)

Taxa de Dropout p: a probabilidade de desligar uma unidade durante o treinamento.

Palavras e símbolos nesta lição
dropout (p)
desligando unidades aleatoriamente com probabilidade p durante o treinamento
Sua vez

Escreva dropout(h, p, training, rng): no treinamento, zere cada entrada com probabilidade p e escale os sobreviventes por 1 / (1 - p); caso contrário, retorne h inalterado. Use rng.random(h.shape) >= p como a máscara de retenção.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.