Dropout, costruito
Perché è importante Il dropout è un modo semplice per impedire a una rete di appoggiarsi troppo a una singola unità, e lo vedrai dentro molti modelli.
Durante l'addestramento, il dropout spegne a caso ogni unità con probabilità p (diciamo 0.5) a ogni passo. La rete non può contare su nessuna unità, perché il passo dopo potrebbe non esserci, quindi distribuisce ciò che sa su molte.
Mantenere giusta la media
Se metà delle unità sono spente, il layer successivo riceve circa metà del segnale. Il moderno dropout invertito lo corregge durante l'addestramento: le unità che sopravvivono vengono moltiplicate per 1 / (1 - p), qui 2. In valutazione il dropout non fa proprio niente, e il segnale medio coincide con quello dell'addestramento. (L'articolo originale del 2014 riscalava invece in valutazione; il risultato è lo stesso, ma il dropout invertito lascia intatto il codice di valutazione.)
Tasso di dropout p: la probabilità di spegnere un'unità durante l'addestramento.
Parole e simboli di questa lezione
- dropout (p)
- spegnere unità a caso con probabilità p durante l'addestramento
Scrivi dropout(h, p, training, rng): in addestramento, azzera ogni elemento con probabilità p e riscala i sopravvissuti per 1 / (1 - p); altrimenti restituisci h invariato. Usa rng.random(h.shape) >= p come maschera di chi resta.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.