Programma Les 60 van 246 · Module 4: Je eigen autograd engine
Module 4: Je eigen autograd engine

Richt de checker op je engine

Waarom dit ertoe doet Een engine met één verkeerde regel zal trainen, langzaam en slecht, en je zult het misschien nooit weten. Vanaf nu wordt elke nieuwe operatie gecontroleerd voordat deze wordt gebruikt.

Je Module 3 checker gaf een zetje aan NumPy arrays. Hier geef je een Tensor een zetje op data, bouw de berekening opnieuw op en vergelijk met wat backward achterliet in .grad.

Het recept: (1) bouw de output en roep backward() één keer aan om de gradiënten van de engine te krijgen. (2) Voor elke input en elke entry, verplaats data een beetje omhoog en omlaag, bouw opnieuw op en lees de waarde van de output. (3) Rapporteer de grootste relatieve fout.

Samenvatting Vertrouw nooit een nieuwe achterwaartse regel voordat deze een check heeft doorstaan.

Woorden en symbolen in deze les
Tensor
hier: een array plus zijn gradiënt plus de Tensors waaruit het kwam
.grad
de gradiënt van de uiteindelijke loss ten opzichte van deze Tensor
unbroadcast
summing een gradient terug naar de vorm waaruit het werd uitgerekt
Jij bent aan de beurt

Schrijf engine_check(build, inputs): build() geeft een scalaire Tensor terug die is berekend uit de Tensors in de lijst inputs. Geef de grootste relatieve fout tussen de gradiënten van de engine en de aangepaste gradiënten terug. Zet de grad van elke input terug naar nul voordat je backward aanroept. De verborgen test plant drie bugs in de engine, één voor één; je checker moet boven 1e-3 rapporteren voor elk, en onder 1e-6 voor de juiste engine.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.