Lehrplan Lektion 60 von 246 · Modul 4: Deine eigene autograd engine
Modul 4: Deine eigene autograd engine

Richte den Checker auf deine Engine.

Warum das wichtig ist Eine Engine mit einer falschen Regel wird trainieren, langsam und schlecht, und du wirst es vielleicht nie wissen. Von jetzt an wird jede neue Operation geprüft, bevor sie verwendet wird.

Dein Modul 3 Checker hat NumPy arrays angefasst. Hier veränderst du die data eines Tensors an Ort und Stelle, baust die Berechnung neu auf und vergleichst sie mit dem, was backward in .grad hinterlassen hat.

Das Rezept: (1) baue den Output und rufe backward() einmal auf, um die Gradienten der Engine zu erhalten. (2) Schiebe für jeden Input und jeden Eintrag data hoch und runter, baue neu auf und lies den Wert des Outputs. (3) Berichte den größten relativen Fehler.

Zusammenfassung Vertraue niemals einer neuen rückwärtsgerichteten Regel, bis sie eine Prüfung bestanden hat.

Wörter und Symbole in dieser Lektion
Tensor
hier: ein Array plus sein Gradient plus die Tensors, aus denen es kam
.grad
der Gradient des finalen loss bezüglich dieses Tensors
unbroadcast
summiere einen Gradienten zurück auf die Form, von der er gestreckt wurde
Du bist dran

Schreibe engine_check(build, inputs): build() gibt einen skalaren Tensor zurück, der aus den Tensoren in der Liste inputs berechnet wird. Gib den größten relativen Fehler zwischen den Gradienten der Engine und den korrigierten Gradienten zurück. Setze das grad jedes Inputs auf Null, bevor du backward aufrufst. Der versteckte Test platziert drei Fehler in der Engine, nacheinander; dein Checker muss für jeden einen Wert über 1e-3 und für die korrekte Engine einen Wert unter 1e-6 melden.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.