Rückwärts wenn Formen sich dehnen (broadcasting)
Warum das wichtig ist Dies ist der häufigste Autograd-Fehler auf der Welt. Ein Bias der Form (4,) hinzugefügt zu einem Batch der Form (32, 4) wird 32 Mal verwendet, also muss sein Gradient alle 32 Beiträge addieren.
Kleine Zahlen
out = X + b mit X (3, 2) und b (2,). Der ankommende Gradient ist (3, 2). b wurde in alle 3 Zeilen kopiert, also erhielt jede Kopie einen Anteil: der Gradient von b ist die Summe über die Zeilen, Shape (2,). Wenn du das (3, 2) Array zurückgibst, passen die Shapes nicht mehr oder schlimmer, Broadcasting verbirgt es und die Zahlen sind 3 mal falsch.
Die Regel: überall wo broadcasting added eine Richtung, summiere sie weg; überall wo es stretched eine Größe-1 Richtung, summiere sie aber behalte sie als Größe 1.
Zusammenfassung Copied forward bedeutet summiert rückwärts.
Wörter und Symbole in dieser Lektion
- autograd
- automatische Gradienten: du schreibst den forward pass, die engine macht den backward
- Tensor
- hier: ein Array plus sein Gradient plus die Tensors, aus denen es kam
- .grad
- der Gradient des finalen loss bezüglich dieses Tensors
- unbroadcast
- summiere einen Gradienten zurück auf die Form, von der er gestreckt wurde
Schreibe unbroadcast(grad, shape): sum grad bis shape. Deine add und multiply rufen es bereits auf.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.