Een gradient checker die je het hele cursus zult gebruiken
Waarom dit ertoe doet Een verkeerde gradient zorgt niet voor een crash. Training gaat gewoon stilzwijgend slecht. Een gradient checker vangt de fout in seconden op, en je zult deze gebruiken in elk module.
Het idee is de nudge van Module 2, uitgevoerd voor elk gewicht: verhoog en verlaag gewicht i met h, meet de loss beide keren, en deel het verschil door 2h. Vergelijk dit met de gradient van je formule.
Hoe dichtbij is dichtbij?
Gebruik de relative error: |a - b| gedeeld door de grootste van |a| en |b| (of 1e-8 als beide heel klein zijn). Onder 1e-6 is een succes; boven 1e-3 betekent bijna altijd een bug.
Gradient check: vergelijk een analytische gradient (van je formule) met een numerieke (van nudging).
Samenvatting Langzaam maar betrouwbare scheidsrechter. Gebruik het voordat je een nieuwe gradient vertrouwt.
Woorden en symbolen in deze les
- leersnelheid (lr)
- hoe groot elke trainingsstap is
- gradient check
- vergelijk je gradiëntformule met een nudge-and-measure schatting
Schrijf numeric_grad(f, w, h=1e-5) (w is een NumPy array van elke vorm; retourneer een array van dezelfde vorm) en grad_check(f, grad, w) die de grootste relatieve fout retourneert. Hier neemt f(w) de weight array en retourneert de loss als één getal, en grad is een array (de gradient van je formule bij w, al berekend), geen functie. Verander w niet permanent. Om elke positie van een array van elke vorm te bezoeken, geeft for idx in np.ndindex(w.shape): elk index tuple om de beurt. De verborgen test voert drie subtiel foute gradients in bij je checker; elk moet boven 1e-3 scoren.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.