Programma Les 54 van 246 · Module 4: Je eigen autograd engine
Module 4: Je eigen autograd engine

De grafiek opnemen en ordenen

Waarom dit ertoe doet Backward moet elke box pas bezoeken nadat elke box waarvan het afhangt is bezocht. Als je deze volgorde fout hebt, geeft het stilletjes foutieve gradiënten.

Bekijk het

Afbeelding x wordt twee keer gebruikt: a = x * 2, b = x * 3, L = a + b. Dit is een ruit. Als we teruggaan vanaf L, moeten we zowel a als b afmaken voordat we x aanpakken, omdat de gradiënt van x de som is van wat via beide terugkomt.

De oplossing is om de nodes in topologische volgorde te lichten: elke node na al zijn ouders. Backward loopt dan die lijst in omgekeerde volgorde. Een depth-first search maakt de lijst: bezoek eerst de ouders van een node, voeg dan de node toe, en sla nodes over die al zijn gezien.

Topologische volgorde: een ordening van een graaf waarbij elke node na de nodes komt waar het van afhankelijk is.

Woorden en symbolen in deze les
Tensor
hier: een array plus zijn gradiënt plus de Tensors waaruit het kwam
topologische orde
elk elke node die na de nodes wordt vermeld waarvan het afhankelijk is
.grad
de gradiënt van de uiteindelijke loss ten opzichte van deze Tensor
unbroadcast
summing een gradient terug naar de vorm waar het van is uitgerekt
Jij bent aan de beurt

Schrijf de topo methode: retourneer elke node self waarvan het afhankelijk is (inclusief zichzelf), elk na al zijn ouders, zonder duplicaten.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.