Kurrikulum Leson 54 van 246 · Module 4: Jou eie autograd-enjin
Module 4: Jou eie autograd-enjin

Beskryf die grafiek en orden dit

Waarom dit saak maak Agterwaarts moet elke boks net besoek word nadat elke boks wat daarvan afhanklik is, besoek is. As jy hierdie volgorde verkeerd doen, gee dit stilweg verkeerde gradiënte.

Sien dit

Beeld x word twee keer gebruik: a = x * 2, b = x * 3, L = a + b. Dit is 'n diamant. As ons teruggaan vanaf L, moet ons met beide a en b klaar wees voordat ons x hanteer, want x se gradiënt is die som van wat deur albei terugkom.

Die oplossing is om die nodes in topological order te lys: elke node na al sy ouers. Daarna stap jy deur daardie lys in omgekeerde volgorde. 'n Depth-first search maak die lys: besoek 'n node se ouers eerste, voeg dan die node by, en ignoreer nodes wat reeds gesien is.

Topologiese orde: 'n ordening van 'n graf waar elke noed wat na die noede kom waarvan dit afhanklik.

Woorde en simbole in hierdie les
Tensor
hier: 'n array plus sy gradiënt plus die Tensors waaruit dit gekom het
topological order
elke knoop wat na die knope wat dit van afhanklik gelys word
.grad
die gradiënt van die finale loss met verwysing na hierdie Tensor
unbroadcast
som die gradiënt terug na die vorm waaruit dit gestrek is
Jou beurt

Skryf die topo metode: gee elke noed wat self daarvan afhanklik (insluitend homself), elk een na al sy ouers, sonder dubbelopnames.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.