Zoek en herstel de geplante bug
Waarom dit ertoe doetDe ergste bugs in machine learning crashen niet. Ze trainen een beetje slechter dan ze zouden moeten en niemand merkt het op. Een gradient check vindt ze in seconden.
A collega herschreef de gradient code van de studio om het sneller te maken: suspect_grads. Je krijgt het niet gelezen, zoals vaak in echt werk (een library, de branch van een teamgenoot, gegenereerde code). Getraind ermee leert je basislijn nog steeds: op het standaardplan van de cursus is de taalscore slechts ongeveer 0.05 slechter, en op afbeeldingen, met seed 0, scoort het zelfs hoger. Beide zitten binnen wat een onvoorzichtige lezer ruis noemt. Iets in het is fout.
Controleer het zoals Module 3 leerde: verander één gewicht met een kleine hoeveelheid, meet de verandering in de loss, en vergelijk dit met de helling die de code claimt. Doe dit voor 5 items van elk van W1, b1, W2 en b2 op een klein model (breedte 8, een batch van 16), gekozen uit de items waarvan de geclaimde helling niet nul is (met one-hot inputs zijn de meeste hellingen van W1 precies 0, en een controle daar bewijst niets). Meet de loss in float64 met studio.loss64 en een verandering van 1e-4; noem een relatieve fout boven 0.01 fout.
Woorden en symbolen in deze les
- baseline
- de simpele run waartegen elke verandering wordt gemeten, over dezelfde seeds
- gradient check
- vergelijk de helling die je code berekent met de helling die gemeten wordt door een gewicht te verschuiven
Schrijf check(grad_fn) terug, voor elk van 'W1', 'b1', 'W2', 'b2', de grootste relatieve fout over 5 items. Zet wrong op de gesorteerde namen waarvan de fout boven 0.01 ligt, en cause op één zin: wat in de backward pass zit waar de verkeerde gradiënten staan, en wat is daar waarschijnlijk gedropt. Schrijf dan fixed_grads zelf (de forward pass is m.forward; de loss en de helling zijn studio.loss_and_dout). Train daarna je baseline (seed 0) met elk en print beide scores.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.