Programma Les 106 van 250 · Neural-Net Intuition, LLMs & AI Capstone
Neural-Net Intuition, LLMs & AI Capstone

Train een Model met je Engine

Je hebt de autograd engine gebouwd. Gebruik deze nu om echt learn te leren, de lus die elk neuraal netwerk traint. De Value class is gegeven (deze omhult nu ook gewone getallen, dus w * x werkt wanneer x een float is). Jouw taak is de trainingslus.

Pas een enkel gewicht w zodat w * x y voorspelt. Eén stap van gradient descent zijn altijd dezelfde bewegingen:

w = Value(0.0)
for step in range(steps):
    loss = Value(0.0)
    for x, y in zip(xs, ys):
        diff = w * x + (-y)          # prediction minus target
        loss = loss + diff * diff    # squared error, summed
    w.grad = 0.0                     # 1) reset the gradient
    loss.backward()                  # 2) backprop to fill w.grad
    w.data -= lr * w.grad            # 3) step downhill

Twee makkelijke fouten: zet de gradient naar nul voor elke backward() of oude gradiënten stapelen zich op (backward gebruikt +=); en trek lr * w.grad af om naar beneden te gaan, niet optellen. Over genoeg stappen w schuift naar de waarde die de loss minimaliseert, de lijn van de beste passing.

Schrijf fit(xs, ys, steps, lr) beginnend bij w = Value(0.0) en geef de uiteindelijke w.data terug. Druk op Run om te zien hoe het y = 2x leert.

Jij bent aan de beurt

Schrijf fit(xs, ys, steps, lr) dat past bij een gewicht w (begin Value(0.0)) door gradient descent zodat w * x voorspelt y. Elke stap: bouw loss als de gesommeerde kwadratische fout met Value ops, stel w.grad = 0.0, loss.backward(), dan w.data -= lr * w.grad in. Geef de uiteindelijke w.data terug. De Value klasse is gegeven.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.