Programma Les 105 van 250 · Neural-Net Intuition, LLMs & AI Capstone
Neural-Net Intuition, LLMs & AI Capstone

Bouw een Autograd Engine

Je hebt één gradiënt met de hand berekend en deze gecontroleerd. Reële netwerken hebben miljoenen parameters, dus je kunt ze niet allemaal met de hand afleiden. De truc die deep learning mogelijk maakt is automatic differentiation: elke waarde onthoudt hoe deze is berekend, en gradiënten stromen automatisch achterwaarts door die registratie. Je gaat de engine bouwen, hetzelfde idee binnenin PyTorch en Karpathy's micrograd, in een paar regels.

De eenheid is een Value: een getal dat ook zijn gradient opslaat en een kleine functie die weet hoe hij de gradient naar zijn inputs moet duwen. Wanneer je twee Values optelt of vermenigvuldigt, legt het resultaat zijn ouders vast. Het geraamte hieronder geeft je __init__ en een backward() die de grafiek in de juiste volgorde doorloopt (een topologische sortering, dan de kettingregel van de output terug). Je implementeert de twee lokale gradiënten, wat de hele les is:

def __add__(self, other):
    out = Value(self.data + other.data, (self, other))
    def _backward():
        self.grad  += out.grad      # d(a+b)/da = 1
        other.grad += out.grad      # d(a+b)/db = 1
    out._backward = _backward
    return out

Optelling kopieert de binnenkomende gradient naar beide inputs. Vermenigvuldiging is waar de kettingregel hap: d(a*b)/da = b en d(a*b)/db = a, elk keer de gradient die van bovenaf binnenkomt (out.grad). Let op +=, niet =: een waarde die op verschillende plaatsen wordt gebruikt verzamelt de gradient van elk.

Voltooi __add__ en __mul__ zodat hun _backward closures de juiste lokale gradiënten instellen. De verborgen tests bouwen expressies, roepen .backward() aan, en gradient-check elk resultaat tegen een finite difference, dus een verkeerde regel kan niet slagen. Druk op Run om door a*b + a te backprop.

Jij bent aan de beurt

Maak de __add__ en __mul__ van de Value klasse af zodat backprop correct is. Voeg in de _backward van __add__ de out.grad toe aan BEIDE self.grad en other.grad (lokale afgeleide 1). Voeg in de _backward van __mul__ de other.data * out.grad toe aan self.grad en self.data * out.grad toe aan other.grad (de productregel). Gebruik += zodat hergebruikte waarden de gradiënt ophopen. De gegeven backward() regelt de volgorde.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.