Waarom agterwaarts goedkoop is (reverse mode)
Waarom dit saak maak 'n netwerk het miljoene gewigte. As elke gradiënt sy eie pass nodig gehad het, sou opleiding onmoontlik wees. Om terug te beweeg kry almal van hulle teen die prys van ongeveer een ekstra pass.
Klein getalle
Neem L = f3(f2(f1(x))) waar x 3 nommers het en L een nommer is. Terwyl jy vorentoe gaan met stootjies, stoot jy een input, stoot dit deur al drie stappe, en leer een gradiënt. Drie inputs beteken drie volledige reise.
Gaan agtertoe, begin jy by L, wat een getal is, en stoot "hoeveel gee L om hieroor?" terug deur f3, dan f2, dan f1. Een trip gee die gradiënt vir elke input gelyktydig.
Met 3 insette maak jy 1 trip in plaas van 3. Met 'n miljoen wegte, 1 trip in plaas van 'n miljoen. 'n Agterwaartse trip is nie gratis nie: dit kos ongeveer 2 tot 3 voorwaartse passes, omdat elke stap moet vermenigvuldig met sy plaaslike hellings. So in werklike werk is die besparing ongeveer n / 3, wat vir 'n miljoen wegte steeds rondom 300,000 keer is. Dit is waarom elke deep learning-biblioteek agterwaarts werk.
Omgekeerde modus: berekening van gradiënte deur vanaf die uitset terug na die insets te vee. Die bousteen daarvan word 'n vector-Jacobian product genoem; die volgende les haal dit uitmekaar.
Opsomming Een uitset, baie insets: gaan terug.
Woorde en simbole in hierdie les
- vector
- 'n lys van nommers, een per kenmerk
Vul die operasie-tellings in vir 'n netwerk met n gewigte en een verlies. forward_trips(n): hoeveel volledige deurgang word die nudge-each-input metode nodig (een geskuifde deurgang per gewig; laat die enkele ongeskuifde deurgang wat jy ook sou hardloop uit). backward_trips(n): hoeveel agterwaartse swepe het reverse mode nodig. Stel dan saving_for_a_million in op die verhouding van reise (nie van werk nie) vir n = 1,000,000.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.