Programma Lezione 76 di 246 · Modulo 6: Pesi iniziali e normalizzazione
Modulo 6: Pesi iniziali e normalizzazione

Troppo piccolo, troppo grande: svanire ed esplodere

Perché è importante Un segnale svanito significa che ogni gradiente è quasi zero e l'addestramento si blocca. Uno esploso significa overflow e nan. Entrambi vengono dai pesi iniziali.

Guardalo

Avvia l'animazione: la stessa pila di 20 layer fatta partire in tre modi. Troppo piccoli, e il segnale svanisce layer dopo layer fino al niente. Troppo grandi, e raddoppia e raddoppia finché va in overflow. Giusti, e resta stabile fino in fondo. Il gradiente al ritorno subisce la stessa sorte.

Svanire: attivazioni o gradienti che si riducono verso zero attraverso i layer. Esplodere: crescere senza limite.

Parole e simboli di questa lezione
svanire, esplodere
segnali o gradienti che si riducono a niente o crescono senza limite attraverso i layer
Xavier, LeCun, He
dispersioni iniziali sqrt(2 / (input + output)) o 1 / sqrt(input) per tanh, e sqrt(2 / input) per ReLU
Tocca a te

Usando la tua spreads dell'ultima lezione (fornita), scrivi verdict(scale) che restituisce "vanish" se la dispersione finale è sotto 1e-3, "explode" se è sopra 1e3, altrimenti "ok". Poi compila my_predictions per le scale 0.05, 0.14 e 0.5 prima di eseguire.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.