Achterwaarts voor optellen en vermenigvuldigen
Waarom dit ertoe doet Met deze twee regels en de volgorde kan je engine al elk formule van sommen en producten onderscheiden.
Elke operatie koppelt een kleine functie, _backward, aan de Tensor die het maakt. Wanneer het wordt aangeroepen, leest het out.grad en voegt het zijn deel toe aan de grad van elke ouder:
- Voor
out = a + b: a krijgtout.grad, b krijgtout.grad. - Voor
out = a * b: a krijgtout.grad * b.data, b krijgtout.grad * a.data.
Voeg altijd toe aan de grad van de parent (+= stijl), overschrijf nooit: een node die twee keer wordt gebruikt moet beide bijdragen verzamelen. Vervolgens zet backward() de grad van de laatste node op 1 en roept elke _backward aan in omgekeerde topologische volgorde.
(De verstrekte unbroadcast helper, geïmporteerd bovenaan, handelt vormen af die zijn uitgerekt door broadcasting. Je schrijft je eigen versie in twee lessen; voor nu wikkel je elke bijdrage erin.)
Woorden en symbolen in deze les
- Tensor
- hier: een array plus zijn gradiënt plus de Tensors waaruit het kwam
- topologische orde
- elk elke node die na de nodes wordt vermeld waarvan het afhankelijk is
- .grad
- de gradiënt van de uiteindelijke loss ten opzichte van deze Tensor
- unbroadcast
- summing een gradient terug naar de vorm waaruit het werd uitgerekt
Vul de twee _backward functies en de backward methode in. De verborgen test gradient-checks formules mengen + en *, inclusief een node die twee keer wordt gebruikt.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.