Programma Les 46 van 246 · Module 3: Neuron naar MLP
Module 3: Neuron naar MLP

Een gradient checker die je het hele cursus zult gebruiken

Waarom dit ertoe doet Een verkeerde gradient zorgt niet voor een crash. Training gaat gewoon stilzwijgend slecht. Een gradient checker vangt de fout in seconden op, en je zult deze gebruiken in elk module.

Het idee is de nudge van Module 2, uitgevoerd voor elk gewicht: verhoog en verlaag gewicht i met h, meet de loss beide keren, en deel het verschil door 2h. Vergelijk dit met de gradient van je formule.

Hoe dichtbij is dichtbij?

Gebruik de relative error: |a - b| gedeeld door de grootste van |a| en |b| (of 1e-8 als beide heel klein zijn). Onder 1e-6 is een succes; boven 1e-3 betekent bijna altijd een bug.

Gradient check: vergelijk een analytische gradient (van je formule) met een numerieke (van nudging).

Samenvatting Langzaam maar betrouwbare scheidsrechter. Gebruik het voordat je een nieuwe gradient vertrouwt.

Woorden en symbolen in deze les
leersnelheid (lr)
hoe groot elke trainingsstap is
gradient check
vergelijk je gradiëntformule met een nudge-and-measure schatting
Jij bent aan de beurt

Schrijf numeric_grad(f, w, h=1e-5) (w is een NumPy array van elke vorm; retourneer een array van dezelfde vorm) en grad_check(f, grad, w) die de grootste relatieve fout retourneert. Hier neemt f(w) de weight array en retourneert de loss als één getal, en grad is een array (de gradient van je formule bij w, al berekend), geen functie. Verander w niet permanent. Om elke positie van een array van elke vorm te bezoeken, geeft for idx in np.ndindex(w.shape): elk index tuple om de beurt. De verborgen test voert drie subtiel foute gradients in bij je checker; elk moet boven 1e-3 scoren.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.