Troppo piccolo, troppo grande: svanire ed esplodere
Perché è importante Un segnale svanito significa che ogni gradiente è quasi zero e l'addestramento si blocca. Uno esploso significa overflow e nan. Entrambi vengono dai pesi iniziali.
Guardalo
Avvia l'animazione: la stessa pila di 20 layer fatta partire in tre modi. Troppo piccoli, e il segnale svanisce layer dopo layer fino al niente. Troppo grandi, e raddoppia e raddoppia finché va in overflow. Giusti, e resta stabile fino in fondo. Il gradiente al ritorno subisce la stessa sorte.
Svanire: attivazioni o gradienti che si riducono verso zero attraverso i layer. Esplodere: crescere senza limite.
Parole e simboli di questa lezione
- svanire, esplodere
- segnali o gradienti che si riducono a niente o crescono senza limite attraverso i layer
- Xavier, LeCun, He
- dispersioni iniziali sqrt(2 / (input + output)) o 1 / sqrt(input) per tanh, e sqrt(2 / input) per ReLU
Usando la tua spreads dell'ultima lezione (fornita), scrivi verdict(scale) che restituisce "vanish" se la dispersione finale è sotto 1e-3, "explode" se è sopra 1e3, altrimenti "ok". Poi compila my_predictions per le scale 0.05, 0.14 e 0.5 prima di eseguire.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.