Backprop door de tijd is gewone backprop
Waarom dit ertoe doet "Backpropagation through time" klinkt als een nieuw algoritme. Dat is het niet: ontvouw de lus en het is backprop op een diep netwerk waarvan de lagen één set weights delen.
Bekijk het
Speel de animatie af. Drie stappen van een RNN, naast elkaar getekend, zijn drie lagen. Dezelfde gewicht w verschijnt in elk. Achterwaarts verzamelt de gradiënt voor w één bijdrage van elke kopie, precies zoals een node die meerdere keren wordt gebruikt in je Module 4 engine.
Tintalletjes
A lineaire RNN met één getal: h_t = w h_(t-1) + x_t, beginnend bij h_0 = 0, met loss = h_3. Inputs 1, 2, 3 en w = 0.5: h1 = 1, h2 = 2.5, h3 = 4.25. dL/dh3 = 1. Terugwerkend, dL/dh2 = w = 0.5 en dL/dh1 = w squared = 0.25. Elke kopie van w draagt bij (gradiënt bij zijn output) keer (de h die het vermenigvuldigde): 1 keer h2 + 0.5 keer h1 + 0.25 keer h0 = 2.5 + 0.5 + 0 = 3.0.
BPTT: backpropagation door de tijd; ontvouw de stappen en doe backpropagation, waarbij je de gradient van elke stap optelt die een gewicht deelt.
Woorden en symbolen in deze les
- recurrent network (RNN)
- een netwerk dat één stap tegelijk leest en een verborgen status doorgeeft
- backprop through time (BPTT)
- Ontvouw de stappen en doe backpropagation, waarbij je de gradient van elke stap toevoegt die een gewicht deelt
Voor de een-getal RNN h_t = w * h_(t-1) + x_t met h_0 = 0 en verlies h_T (de laatste staat), schrijf bptt(xs, w) die dL/dw teruggeeft door achterwaarts door de stappen te lopen.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.