Programme Leçon 54 sur 246 · Module 4 : Ton propre moteur d'autograd
Module 4 : Ton propre moteur d'autograd

Enregistrer le graphe et l'ordonner

Pourquoi c'est important La passe arrière doit visiter chaque boîte seulement après chaque boîte qui en dépend. Se tromper dans cet ordre donne des gradients faux en silence.

Vois-le

Imagine x utilisé deux fois : a = x * 2, b = x * 3, L = a + b. C'est un losange. En revenant de L, il faut avoir fini avec a et b avant de traiter x, parce que le gradient de x est la somme de ce qui revient par les deux.

La solution est de lister les nœuds dans l'ordre topologique : chaque nœud après tous ses parents. La passe arrière parcourt alors cette liste à l'envers. Une recherche en profondeur construit la liste : visite d'abord les parents d'un nœud, puis ajoute le nœud, et saute les nœuds déjà vus.

Ordre topologique : un ordre d'un graphe où chaque nœud vient après les nœuds dont il dépend.

Mots et symboles de cette leçon
Tensor
ici : un tableau plus son gradient plus les Tensors dont il vient
ordre topologique
chaque nœud listé après les nœuds dont il dépend
.grad
le gradient de la perte finale par rapport à ce Tensor
unbroadcast
sommer un gradient pour le ramener à la forme depuis laquelle il a été étiré
À ton tour

Écris la méthode topo : renvoie chaque nœud dont self dépend (lui compris), chacun après tous ses parents, sans doublons.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.