Achterwaarts wanneer vormen uitrekken (broadcasting)
Waarom dit ertoe doet Dit is de meest voorkomende autograd bug in de wereld. Een bias van shape (4,) toegevoegd aan een batch van shape (32, 4) wordt 32 keer gebruikt, dus zijn gradient moet alle 32 bijdragen optellen.
Tintalletjes
out = X + b met X (3, 2) en b (2,). De aankomende gradient is (3, 2). b werd gekopieerd naar alle 3 rijen, dus elke kopie kreeg een deel: de gradient van b is de som over de rijen, vorm (2,). Als je de (3, 2) array teruggeeft, komen de vormen niet meer overeen, of erger, broadcasting verbergt dit en zijn de getallen 3 keer fout.
De regel: waar het uitzenden added een richting toevoegt, tel je het weg; waar het stretched een grootte-1 richting toevoegt, tel je het maar houd het grootte 1.
Samenvatting Copied forward betekent gesommeerd naar achteren.
Woorden en symbolen in deze les
- autograd
- automatische gradiënten: je schrijft de forward pass, de engine doet de backward
- Tensor
- hier: een array plus zijn gradiënt plus de Tensors waaruit het kwam
- .grad
- de gradiënt van de uiteindelijke loss ten opzichte van deze Tensor
- unbroadcast
- summing een gradient terug naar de vorm waar het van is uitgerekt
Schrijf unbroadcast(grad, shape): som van grad tot shape. Je add en multiply roepen het al aan.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.