Lehrplan Lektion 57 von 246 · Modul 4: Deine eigene autograd engine
Modul 4: Deine eigene autograd engine

Rückwärts wenn Formen sich dehnen (broadcasting)

Warum das wichtig ist Dies ist der häufigste Autograd-Fehler auf der Welt. Ein Bias der Form (4,) hinzugefügt zu einem Batch der Form (32, 4) wird 32 Mal verwendet, also muss sein Gradient alle 32 Beiträge addieren.

Kleine Zahlen

out = X + b mit X (3, 2) und b (2,). Der ankommende Gradient ist (3, 2). b wurde in alle 3 Zeilen kopiert, also erhielt jede Kopie einen Anteil: der Gradient von b ist die Summe über die Zeilen, Shape (2,). Wenn du das (3, 2) Array zurückgibst, passen die Shapes nicht mehr oder schlimmer, Broadcasting verbirgt es und die Zahlen sind 3 mal falsch.

Die Regel: überall wo broadcasting added eine Richtung, summiere sie weg; überall wo es stretched eine Größe-1 Richtung, summiere sie aber behalte sie als Größe 1.

Zusammenfassung Copied forward bedeutet summiert rückwärts.

Wörter und Symbole in dieser Lektion
autograd
automatische Gradienten: du schreibst den forward pass, die engine macht den backward
Tensor
hier: ein Array plus sein Gradient plus die Tensors, aus denen es kam
.grad
der Gradient des finalen loss bezüglich dieses Tensors
unbroadcast
summiere einen Gradienten zurück auf die Form, von der er gestreckt wurde
Du bist dran

Schreibe unbroadcast(grad, shape): sum grad bis shape. Deine add und multiply rufen es bereits auf.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.