De grafiek opnemen en ordenen
Waarom dit ertoe doet Backward moet elke box pas bezoeken nadat elke box waarvan het afhangt is bezocht. Als je deze volgorde fout hebt, geeft het stilletjes foutieve gradiënten.
Bekijk het
Afbeelding x wordt twee keer gebruikt: a = x * 2, b = x * 3, L = a + b. Dit is een ruit. Als we teruggaan vanaf L, moeten we zowel a als b afmaken voordat we x aanpakken, omdat de gradiënt van x de som is van wat via beide terugkomt.
De oplossing is om de nodes in topologische volgorde te lichten: elke node na al zijn ouders. Backward loopt dan die lijst in omgekeerde volgorde. Een depth-first search maakt de lijst: bezoek eerst de ouders van een node, voeg dan de node toe, en sla nodes over die al zijn gezien.
Topologische volgorde: een ordening van een graaf waarbij elke node na de nodes komt waar het van afhankelijk is.
Woorden en symbolen in deze les
- Tensor
- hier: een array plus zijn gradiënt plus de Tensors waaruit het kwam
- topologische orde
- elk elke node die na de nodes wordt vermeld waarvan het afhankelijk is
- .grad
- de gradiënt van de uiteindelijke loss ten opzichte van deze Tensor
- unbroadcast
- summing een gradient terug naar de vorm waar het van is uitgerekt
Schrijf de topo methode: retourneer elke node self waarvan het afhankelijk is (inclusief zichzelf), elk na al zijn ouders, zonder duplicaten.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.