Backprop deur tyd is gewone backprop
Hoekom dit saak maak "Backpropagation through time" klink soos 'n nuwe algoritme. Dit is nie een nie: ontvou die loop en dit is backprop op 'n diep netwerk waarvan die lae een stel gewigte deel.
Sien dit
Speel die animasi af. Drie stappe van 'n RNN, geteken langs mekaar, is drie lae. Dieselfde gewig w verskyn in elk. Agterwaarts versamel die gradiënt vir w een bydrae van elke kopie, presies soos 'n knoop wat verskeie kere in jou Module 4 engine gebruik word.
Klein getalle
A een-getal lineêre RNN: h_t = w h_(t-1) + x_t, beginnend by h_0 = 0, met loss = h_3. Inputs 1, 2, 3 en w = 0.5: h1 = 1, h2 = 2.5, h3 = 4.25. dL/dh3 = 1. Terugwerkend, dL/dh2 = w = 0.5 en dL/dh1 = w kwadraat = 0.25. Elke kopie van w dra by (gradiënt by sy uitset) maal (die h wat dit vermenigvuldig): 1 maal h2 + 0.5 maal h1 + 0.25 maal h0 = 2.5 + 0.5 + 0 = 3.0.
BPTT: terugpropagasie deur tyd; ontvou die stappe en propageer terug, tel die gradiënt by van elke stap wat 'n gewig deel.
Woorde en simbole in hierdie les
- herhalende netwerk (RNN)
- a netwerk wat een stap teen 'n slag lees en 'n wegsteekte status vorentoe dra
- backprop deur tyd (BPTT)
- ontel die stappe en doen backpropagate, voeg die gradient by van elke stap wat 'n gewig deel
Vir die een-getal RNN h_t = w * h_(t-1) + x_t met h_0 = 0 en verlies h_T (die laaste toestand), skryf bptt(xs, w) wat dL/dw teruggee deur agtertoe deur die stappe te stap.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.