Programma Lezione 88 di 246 · Modulo 7: Lavorare su dati nuovi
Modulo 7: Lavorare su dati nuovi

Dropout, costruito

Perché è importante Il dropout è un modo semplice per impedire a una rete di appoggiarsi troppo a una singola unità, e lo vedrai dentro molti modelli.

Durante l'addestramento, il dropout spegne a caso ogni unità con probabilità p (diciamo 0.5) a ogni passo. La rete non può contare su nessuna unità, perché il passo dopo potrebbe non esserci, quindi distribuisce ciò che sa su molte.

Mantenere giusta la media

Se metà delle unità sono spente, il layer successivo riceve circa metà del segnale. Il moderno dropout invertito lo corregge durante l'addestramento: le unità che sopravvivono vengono moltiplicate per 1 / (1 - p), qui 2. In valutazione il dropout non fa proprio niente, e il segnale medio coincide con quello dell'addestramento. (L'articolo originale del 2014 riscalava invece in valutazione; il risultato è lo stesso, ma il dropout invertito lascia intatto il codice di valutazione.)

Tasso di dropout p: la probabilità di spegnere un'unità durante l'addestramento.

Parole e simboli di questa lezione
dropout (p)
spegnere unità a caso con probabilità p durante l'addestramento
Tocca a te

Scrivi dropout(h, p, training, rng): in addestramento, azzera ogni elemento con probabilità p e riscala i sopravvissuti per 1 / (1 - p); altrimenti restituisci h invariato. Usa rng.random(h.shape) >= p come maschera di chi resta.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.