Programma Les 128 van 246 · Module 11: Netwerken met geheugen (RNNs)
Module 11: Netwerken met geheugen (RNNs)

Verdwijnende en exploderende gradiënten, gemeten

Waarom dit ertoe doet Je zag net de gradiënt voor een vroege stap vermenigvuldigd met w één keer per stap. Met veel stappen wordt dat product ofwel heel klein of explodeert het. Dit is de belangrijkste zwakte van gewone RNNs.

Met een gewichtsmatrix W in plaats van een getal, vermenigvuldigt het teruggaan van één stap de gradiënt met de getransponeerde W (negeer de tanh, die kan het alleen nog verder verkleinen). Eén stap kan een vector maximaal vergroten met de grootste rek van W, de spectral norm. Over veel stappen telt de spectral radius, de grootte van de grootste eigenwaarde van W (Module 2, "How spread adds up, and what a matrix stretches"): na k stappen is de grootte ongeveer veranderd met r tot de macht k. (Voor de rotaties die hieronder worden gebruikt, zijn de twee hetzelfde getal, r.) r = 0.9 over 50 stappen: 0.005. r = 1.1 over 50 stappen: 117.

Twee verschillende genezingen

Exploderende gradiënten hebben een simpele oplossing: clip ze (Module 5). Verdwijnende gradiënten hebben geen dergelijke oplossing. De totale gradiënt voor een gewicht is een som over elke afstand terug in de tijd; wanneer de termen over lange afstand krimpen zoals 0.9 tot de macht 50, worden ze overstemd door de termen over korte afstand, en het opschalen van de hele som schaalt de ruis mee. Het netwerk kan simpelweg niet zien dat iets ver terug belangrijk was. De oplossing daar is een andere architectuur: de LSTM, volgende.

Woorden en symbolen in deze les
recurrent network (RNN)
een netwerk dat één stap tegelijk leest en een verborgen status voorwaarts draagt
verdwijnende / exploderende gradiënt
a gradient vermenigvuldigd met dezelfde matrix meerdere keren krimpt tot niets of explodeert
LSTM
an RNN met een memory cell c en drie gates: forget, input, output
Jij bent aan de beurt

Schrijf gradient_sizes(W, steps): begin met een gradiënt van enen, vermenigvuldig per stap één keer met W.T en geef de lijst van normen terug (één per stap). Zet daarna verdicts op "vanish", "steady" of "explode" voor de drie matrices, op basis van de norm na 50 stappen (onder 0.01, tussen 0.01 en 100, boven 100).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.