Programma Lezione 128 di 246 · Modulo 11: Reti con memoria (RNN)
Modulo 11: Reti con memoria (RNN)

Gradienti che svaniscono ed esplodono, misurati

Perché è importante Hai appena visto il gradiente di un passo iniziale moltiplicato per w una volta per passo. Con molti passi, quel prodotto o si riduce a niente o esplode. È la debolezza principale delle RNN semplici.

Con una matrice di pesi W invece di un numero, tornare indietro di un passo moltiplica il gradiente per W trasposta (ignorando la tanh, che può solo ridurlo ancora). Un passo può far crescere un vettore al massimo del più grande allungamento di W, la sua norma spettrale. Su molti passi ciò che conta è il raggio spettrale, la grandezza del più grande autovalore di W (Modulo 2, "Come si somma la dispersione, e che cosa allunga una matrice"): dopo k passi la grandezza è cambiata di circa r alla potenza k. (Per le rotazioni usate qui sotto, i due sono lo stesso numero, r.) r = 0.9 su 50 passi: 0.005. r = 1.1 su 50 passi: 117.

Due cure diverse

I gradienti che esplodono hanno una cura grezza: il clipping (Modulo 5). I gradienti che svaniscono non hanno una cura così. Il gradiente totale di un peso è una somma su ogni distanza all'indietro nel tempo; quando i termini a lunga distanza si riducono come 0.9 alla cinquantesima, vengono sommersi da quelli a breve distanza, e ingrandire tutta la somma ingrandisce anche il rumore. La rete semplicemente non riesce a capire che qualcosa di lontano contava. Lì la cura è un'architettura diversa: la LSTM, che viene dopo.

Parole e simboli di questa lezione
rete ricorrente (RNN)
una rete che legge un passo alla volta e porta avanti uno stato nascosto
gradiente che svanisce / esplode
un gradiente moltiplicato molte volte per la stessa matrice si riduce a niente o esplode
LSTM
una RNN con una cella di memoria c e tre gate: forget, input, output
Tocca a te

Scrivi gradient_sizes(W, steps): parti da un gradiente di uni, moltiplica per W.T una volta per passo, e restituisci la lista delle norme (una per passo). Poi imposta verdicts su "vanish", "steady" o "explode" per le tre matrici, giudicando dalla norma dopo 50 passi (sotto 0.01, tra 0.01 e 100, sopra 100).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.