Programma Les 58 van 246 · Module 4: Je eigen autograd engine
Module 4: Je eigen autograd engine

Sommen, gemiddelden, herschikkingen en transposities

Waarom dit ertoe doetEen loss is een som of een gemiddelde, en layers veranderen de vorm en transponeren constant. Elke laag heeft een backward regel nodig, en elke regel is een one-liner.

  • sum (naar één getal): elke invoer droeg bij met helling 1, dus elk krijgt de aankomende gradiënt. Gradiënt: eenen van de vorm van de input, vermenigvuldigd met out.grad.
  • mean: een som keer 1/size. Bouw het op uit sum en multiply, dus heeft het geen eigen regel nodig.
  • reshape: waarden worden alleen herordend, dus reshape de gradient terug naar de vorm van de input.
  • transpose: zet de gradiënt terug.

SamenvattingHet verplaatsen van getallen verplaatst de gradiënt op dezelfde manier terug.

Woorden en symbolen in deze les
Tensor
hier: een array plus zijn gradient plus de Tensors waaruit het kwam
.grad
de gradiënt van de uiteindelijke loss met betrekking tot deze Tensor
unbroadcast
summing een gradient terug naar de vorm waar het van is uitgerekt
Jij bent aan de beurt

Schrijf sum, mean, reshape en de T eigenschap met hun achterwaartse regels.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.