Programma Les 104 van 250 · Neural-Net Intuition, LLMs & AI Capstone
Neural-Net Intuition, LLMs & AI Capstone

Backprop & Gradient Checking

Je hebt een speelgoedmodel getraind door gewichten naar beneden te duwen. Maar waar komen de gradiënten vandaan, en hoe weet je of ze juist zijn? Deze les beantwoordt beide, en het tweede antwoord, gradient checking, is de enige gewoonte die werkende neurale netwerken onderscheidt van stilzwijgend kapotte netwerken.

Backprop is gewoon de kettingregel. Neem één voorbeeld door een klein model: voorspel z = w * x, meet dan de kwadratische fout L = (z - y)**2. Om w te verbeteren heb je dL/dw nodig. Bereken het in twee stappen en vermenigvuldig:

dL/dz = 2 * (z - y)        # how loss moves with the prediction
dz/dw = x                  # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * x

Dat product IS backpropagation, in het klein: elke laag vermenigvuldigt de terugvloeiende gradient met zijn eigen lokale afgeleide. Stap een miljoen van deze op elkaar en je hebt een deep network.

Is je formule nu correct? Verifieer dit numeriek. De definitie van een afgeleide is een kleine duwtje, dus schat het met een central finite difference en controleer of de analytische gradiënt overeenkomt:

numeric = (L(w + h) - L(w - h)) / (2 * h)   # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6   # they should agree to many digits

Als ze het niet eens zijn, heeft je backward pass een bug, elke serieuze DL codebase controleert de gradiënt precies om deze reden.

Bouw twee functies. loss(w, x, y) geeft (w*x - y)**2 terug. grad(w, x, y) geeft de analytische gradiënt dL/dw = 2*(w*x - y)*x terug. De verborgen tests zullen je grad controleren met een gradiëntcheck tegen een eindige differentie van je eigen loss over veel willekeurige punten, dus een foutieve formule kan niet slagen. Druk op Run om te zien of analytisch en numeriek overeenkomen.

Jij bent aan de beurt

Schrijf loss(w, x, y) die de squared error (w*x - y)**2 teruggeeft, en grad(w, x, y) die de analytische gradiënt ten opzichte van w teruggeeft, wat volgens de kettingregel 2*(w*x - y)*x is. Je grad wordt gecontroleerd tegen een centrale eindige differentie van je eigen loss op veel willekeurige punten, dus het moet de ware afgeleide zijn, geen benadering of een constante.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.