Lehrplan Lektion 105 von 250 · Neural-Net Intuition, LLMs & KI Capstone
Neural-Net Intuition, LLMs & KI Capstone

Baue eine Autograd Engine

Du hast einen Gradienten von Hand berechnet und ihn mit gradient-check überprüft. Echte Netzwerke haben Millionen von Parametern, also kannst du nicht jeden einzeln von Hand ableiten. Der Trick, der Deep Learning ermöglicht, ist automatic differentiation: jeder Wert merkt sich, wie er berechnet wurde, und die Gradienten fließen automatisch rückwärts durch diese Aufzeichnung. Du bist kurz davor, die Engine zu bauen, dieselbe Idee wie in PyTorch und Karpathys micrograd, in wenigen Zeilen.

Die Einheit ist ein Value: eine Zahl, die auch ihren Gradienten und eine winzige Funktion speichert, die weiß, wie man den Gradienten zu den Eingaben schiebt. Wenn du zwei Values addierst oder multiplizierst, zeichnet das Ergebnis seine Eltern auf. Das Gerüst unten gibt dir __init__ und ein backward(), das den Graphen in der richtigen Reihenfolge durchläuft (eine topologische Sortierung, dann die Kettenregel vom Ausgang zurück). Du implementierst die zwei lokalen Gradienten, was die ganze Lektion ist:

def __add__(self, other):
    out = Value(self.data + other.data, (self, other))
    def _backward():
        self.grad  += out.grad      # d(a+b)/da = 1
        other.grad += out.grad      # d(a+b)/db = 1
    out._backward = _backward
    return out

Addition kopiert den eingehenden gradient nur auf beide Eingänge. Multiplication ist der Punkt, an dem die Kettenregel zuschlägt: d(a*b)/da = b und d(a*b)/db = a, jeweils multipliziert mit dem gradient, der von oben hineinfließt (out.grad). Beachte +=, nicht =: ein Wert, der an mehreren Stellen verwendet wird, akkumuliert den gradient von jedem.

Vervollständige __add__ und __mul__ so dass ihre _backward Closures die korrekten lokalen Gradienten setzen. Die versteckten Tests bauen Ausdrücke, rufen .backward() auf und prüfen jeden resultierenden Gradienten gegen eine endliche Differenz , also kann eine falsche Regel nicht bestehen. Drücke Run um durch a*b + a zurückzupropagieren.

Du bist dran

Vervollständige die Value Klasse __add__ und __mul__ so dass backprop korrekt ist. In __add__'s _backward füge out.grad zu BEIDEN self.grad und other.grad hinzu (lokale Ableitung 1). In __mul__'s _backward füge other.data * out.grad zu self.grad und self.data * out.grad zu other.grad hinzu (die Produktregel). Nutze += damit wiederverwendete Werte den Gradienten akkumulieren. Das gegebene backward() übernimmt die Reihenfolge.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.