Kurrikulum Leson 128 van 246 · Module 11: Netwerke met geheue (RNNs)
Module 11: Netwerke met geheue (RNNs)

Vervagende en ontploffende gradiënte, gemeet

Waarom dit saak maak Jy het nou net die gradiënt vir 'n vroeëre stap gesien wat een keer per stap met w vermenigvuldig word. Met baie stappe word daardie produk óf klein tot niks óf dit blaas op. Dit is die hoofswakheid van gewone RNNs.

Met 'n gewigmatriks W in plaas van 'n getal, vermenigvuldig die teruggaan van een stap die gradiënt met W getransponeer (negeer die tanh, wat dit net verder kan verklein). Een stap kan 'n vektor met die grootste strek van W laat groei, sy spectral norm. Oor baie stappe tel die spectral radius tel, die grootte van W se grootste eiewaarde (Module 2, "How spread adds up, and what a matrix stretches"): na k stappe het die grootte met ongeveer r tot die krag van k verander. (Vir die rotasies wat hieronder gebruik word, is die twee dieselfde getal, r.) r = 0.9 oor 50 stappe: 0.005. r = 1.1 oor 50 stappe: 117.

Twee verskillende genes

Exploderende gradiënte het 'n eenvoudige oplossing: kliep hulle (Module 5). Verdwynende gradiënte het nie so 'n oplossing nie. Die totale gradiënt vir 'n gewig is 'n som oor elke afstand terug in tyd; wanneer die langafstandterme krimp soos 0.9 tot die macht 50, word hulle deur die kortafstandterme oorval, en as jy die hele som opskaal, skaal die geraas saam met hulle. Die netwerk kan eenvoudig nie sien dat iets ver terug saak gehou het nie. Die oplossing daar is 'n ander argitektuur: die LSTM, volgende.

Woorde en simbole in hierdie les
recurrent network (RNN)
a netwerk wat een stap teen 'n slag lees en 'n wegsteekte status vorentoe dra
verdwynende / ontploffende gradiënt
a gradiënt wat baie keer deur dieselfde matriks vermenigvuldig word, krimpt tot niks of blaas op
LSTM
an RNN met 'n geheiselcel c en drie gate: forget, input, output
Jou beurt

Skryf gradient_sizes(W, steps): begin by vanaf 'n gradiënt van eense, vermenigvuldig met W.T een keer per stap, en gee die lys van norme terug (een per stap). Stel dan verdicts in op "vanish", "steady" of "explode" vir die drie matrices, deur te oordeel volgens die norm na 50 stappe (onder 0.01, tussen 0.01 en 100, bo 100).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.