Programma Les 57 van 246 · Module 4: Je eigen autograd engine
Module 4: Je eigen autograd engine

Achterwaarts wanneer vormen uitrekken (broadcasting)

Waarom dit ertoe doet Dit is de meest voorkomende autograd bug in de wereld. Een bias van shape (4,) toegevoegd aan een batch van shape (32, 4) wordt 32 keer gebruikt, dus zijn gradient moet alle 32 bijdragen optellen.

Tintalletjes

out = X + b met X (3, 2) en b (2,). De aankomende gradient is (3, 2). b werd gekopieerd naar alle 3 rijen, dus elke kopie kreeg een deel: de gradient van b is de som over de rijen, vorm (2,). Als je de (3, 2) array teruggeeft, komen de vormen niet meer overeen, of erger, broadcasting verbergt dit en zijn de getallen 3 keer fout.

De regel: waar het uitzenden added een richting toevoegt, tel je het weg; waar het stretched een grootte-1 richting toevoegt, tel je het maar houd het grootte 1.

Samenvatting Copied forward betekent gesommeerd naar achteren.

Woorden en symbolen in deze les
autograd
automatische gradiënten: je schrijft de forward pass, de engine doet de backward
Tensor
hier: een array plus zijn gradiënt plus de Tensors waaruit het kwam
.grad
de gradiënt van de uiteindelijke loss ten opzichte van deze Tensor
unbroadcast
summing een gradient terug naar de vorm waar het van is uitgerekt
Jij bent aan de beurt

Schrijf unbroadcast(grad, shape): som van grad tot shape. Je add en multiply roepen het al aan.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.