Kurrikulum Leson 127 van 246 · Module 11: Netwerke met geheue (RNNs)
Module 11: Netwerke met geheue (RNNs)

Backprop deur tyd is gewone backprop

Hoekom dit saak maak "Backpropagation through time" klink soos 'n nuwe algoritme. Dit is nie een nie: ontvou die loop en dit is backprop op 'n diep netwerk waarvan die lae een stel gewigte deel.

Sien dit

Speel die animasi af. Drie stappe van 'n RNN, geteken langs mekaar, is drie lae. Dieselfde gewig w verskyn in elk. Agterwaarts versamel die gradiënt vir w een bydrae van elke kopie, presies soos 'n knoop wat verskeie kere in jou Module 4 engine gebruik word.

Klein getalle

A een-getal lineêre RNN: h_t = w h_(t-1) + x_t, beginnend by h_0 = 0, met loss = h_3. Inputs 1, 2, 3 en w = 0.5: h1 = 1, h2 = 2.5, h3 = 4.25. dL/dh3 = 1. Terugwerkend, dL/dh2 = w = 0.5 en dL/dh1 = w kwadraat = 0.25. Elke kopie van w dra by (gradiënt by sy uitset) maal (die h wat dit vermenigvuldig): 1 maal h2 + 0.5 maal h1 + 0.25 maal h0 = 2.5 + 0.5 + 0 = 3.0.

BPTT: terugpropagasie deur tyd; ontvou die stappe en propageer terug, tel die gradiënt by van elke stap wat 'n gewig deel.

Woorde en simbole in hierdie les
herhalende netwerk (RNN)
a netwerk wat een stap teen 'n slag lees en 'n wegsteekte status vorentoe dra
backprop deur tyd (BPTT)
ontel die stappe en doen backpropagate, voeg die gradient by van elke stap wat 'n gewig deel
Jou beurt

Vir die een-getal RNN h_t = w * h_(t-1) + x_t met h_0 = 0 en verlies h_T (die laaste toestand), skryf bptt(xs, w) wat dL/dw teruggee deur agtertoe deur die stappe te stap.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.