Kurrikulum Leson 105 van 250 · Neurale-Net Intuisie, LLMs & AI Graadstuk
Neurale-Net Intuisie, LLMs & AI Graadstuk

Bou 'n Autograd Engine

Jy het een gradiënt by hand bereken en dit met 'n gradiënt-kontrole getoets. Regte netwerke het miljoene parameters, so jy kan nie elke een by hand aflei nie. Die truc wat diep leer moontlik maak is outomatiese differentiasie: elke waarde onthou hoe dit bereken is, en gradiënte vloei outomaties agtertoe deur daardie rekord. Jy is op die punt om die enjin te bou, dieselfde idee binne PyTorch en Karpathy se micrograd, in 'n paar reëls.

Die eenheid is 'n Value: 'n getal wat ook sy gradiënt en 'n klein funksie stoor wat weet hoe om die gradiënt na sy inputs te stoot. Wanneer jy twee Values bymekaar voeg of vermenigvuldig, rekord die resultaat sy ouers. Die raamwerk hieronder gee vir jou __init__ en 'n backward() wat die graf in die regte volgorde deurloop ( 'n topologiese sortering, dan die kettingreël van die uitset terug). Jy implementeer die twee plaaslike gradiënte, wat die hele les is:

def __add__(self, other):
    out = Value(self.data + other.data, (self, other))
    def _backward():
        self.grad  += out.grad      # d(a+b)/da = 1
        other.grad += out.grad      # d(a+b)/db = 1
    out._backward = _backward
    return out

Optelling kopieer net die inkomende gradiënt na beide insets. Vermenigvuldiging is waar die kettingreël byt: d(a*b)/da = b en d(a*b)/db = a, elk keer wat die gradiënt wat van bo af invloei (out.grad) vermenigvuldig. Let op +=, nie = nie: 'n waarde wat in verskeie plekke gebruik word, akkumuleer gradiënte van elkeen.

Voltooi __add__ en __mul__ sodat hul _backward closures die korrekte plaaslike gradiënte stel. Die verborge toetse bou uitdrukkings, roep .backward() aan, en gradient-check elke resultaat teen 'n finite difference, so 'n verkeerde reël kan nie slaag nie. Druk Run om deur a*b + a te backprop.

Jou beurt

Voltooi die Value-klas se __add__ en __mul__ sodat backprop korrek is. In __add__ se _backward, voeg out.grad by BEIDE self.grad en other.grad (lokale afgeleide 1). In __mul__ se _backward, voeg other.data * out.grad by self.grad en self.data * out.grad by other.grad (die produkreël). Gebruik += sodat hergebruikte waardes gradiënt optel. Die gegee backward() hanteer die volgorde.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.