Richt de checker op je engine
Waarom dit ertoe doet Een engine met één verkeerde regel zal trainen, langzaam en slecht, en je zult het misschien nooit weten. Vanaf nu wordt elke nieuwe operatie gecontroleerd voordat deze wordt gebruikt.
Je Module 3 checker gaf een zetje aan NumPy arrays. Hier geef je een Tensor een zetje op data, bouw de berekening opnieuw op en vergelijk met wat backward achterliet in .grad.
Het recept: (1) bouw de output en roep backward() één keer aan om de gradiënten van de engine te krijgen. (2) Voor elke input en elke entry, verplaats data een beetje omhoog en omlaag, bouw opnieuw op en lees de waarde van de output. (3) Rapporteer de grootste relatieve fout.
Samenvatting Vertrouw nooit een nieuwe achterwaartse regel voordat deze een check heeft doorstaan.
Woorden en symbolen in deze les
- Tensor
- hier: een array plus zijn gradiënt plus de Tensors waaruit het kwam
- .grad
- de gradiënt van de uiteindelijke loss ten opzichte van deze Tensor
- unbroadcast
- summing een gradient terug naar de vorm waaruit het werd uitgerekt
Schrijf engine_check(build, inputs): build() geeft een scalaire Tensor terug die is berekend uit de Tensors in de lijst inputs. Geef de grootste relatieve fout tussen de gradiënten van de engine en de aangepaste gradiënten terug. Zet de grad van elke input terug naar nul voordat je backward aanroept. De verborgen test plant drie bugs in de engine, één voor één; je checker moet boven 1e-3 rapporteren voor elk, en onder 1e-6 voor de juiste engine.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.