Kurrikulum Leson 104 van 250 · Neurale-Net Intuisie, LLMs & AI Graadstuk
Neurale-Net Intuisie, LLMs & AI Graadstuk

Terugpropagasie & Gradiëntkontrole

Jy het 'n speelmodel opgelei deur gewigte afwaarts te skuif. Maar waar kom die gradients vandaan, en hoe weet jy dat hulle reg is? Hierdie les beantwoord albei, en die tweede antwoord, gradient checking, is die een gewoonte wat werkende neurale netwerke van stilletie gebreekte netwerke skei.

Backprop is net die kettingreël. Neem een voorbeeld deur 'n klein model: voorspel z = w * x, dan meet die gekwadraatde fout L = (z - y)**2. Om w te verbeter het jy dL/dw nodig. Bereken dit in twee stappe en vermenigvuldig:

dL/dz = 2 * (z - y)        # how loss moves with the prediction
dz/dw = x                  # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * x

Da produk IS backpropagation, in miniature: elke laag vermenigvuldig die gradient wat terugvloei met sy eie plaaslike afgeleide. Stap 'n miljoen van hierdie op en jy het 'n deep network.

Is jou formule nou korrek? Verifieer dit numeries. Die definisie van 'n afgeleide is 'n klein duwtjie, so skat dit met 'n central finite difference en kyk of die analitiese gradiënt ooreenstem:

numeric = (L(w + h) - L(w - h)) / (2 * h)   # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6   # they should agree to many digits

As hulle verskil, het jou backward pass 'n bug. Elke ernstige DL-kodebasis doen gradient-checks presies om hierdie rede.

Bou twee funksies. loss(w, x, y) gee (w*x - y)**2 terug. grad(w, x, y) gee die analitiese gradiënt dL/dw = 2*(w*x - y)*x terug. Die verborge toetse sal jou grad teen 'n eindige verskil van jou eie loss oor baie willeke punte gradiënt-toets, so 'n foutiewe formule kan nie slaag nie. Druk Run om te sien hoe analities en numeries ooreenstem.

Jou beurt

Skryf loss(w, x, y) wat die squared error (w*x - y)**2 teruggee, en grad(w, x, y) wat sy analitiese gradiënt met betrekking tot w teruggee, wat volgens die chain rule 2*(w*x - y)*x is. Jou grad sal teen 'n central finite difference van jou eie loss teen baie willeke punte getoets word, so dit moet die ware afgeleide wees, nie 'n benadering of 'n konstante nie.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.