Terugwaarts vir add en multiply
Waarom dit saak maak Met hierdie twee reëls en die volgorde kan jou engine reeds enige formule van somme enprodukte onderskei.
Elke operasie heg 'n klein funksie, _backward, aan die Tensor wat dit maak. Wanneer dit geroep word, lees dit out.grad en voeg sy deel by elke ouer se grad:
- Vir
out = a + b: a kryout.grad, b kryout.grad. - Vir
out = a * b: a kryout.grad * b.data, b kryout.grad * a.data.
Voeg add by aan die ouer se grad (+= styl), oorskryf nooit nie: 'n knoop wat twee keer gebruik word moet beide bydraes versamel. Dan backward() stel die finale knoop se grad op 1 en roep elke _backward in omgekeerde topologiese volgorde aan.
(Die verskafde unbroadcast helper, wat bo geïmporteer is, hanteer vorms wat deur broadcasting gestrek is. Jy sal jou eie weergawe in twee lesse skryf; vir nou, verpak elke bydrae daarin.)
Woorde en simbole in hierdie les
- Tensor
- hier: 'n array plus sy gradiënt plus die Tensors waaruit dit gekom het
- topological order
- elke knoop wat na die knope wat dit daarvan afhanklik gelys word
- .grad
- die gradiënt van die finale loss met verwysing na hierdie Tensor
- unbroadcast
- som van 'n gradiënt terug na die vorm waaruit dit gestrek is
Vul die twee _backward funksies en die backward metode in. Die verborge toets gradiënt-kontroles formules meng + en *, insluitend 'n knoop wat twee keer gebruik word.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.