Enregistrer le graphe et l'ordonner
Pourquoi c'est important La passe arrière doit visiter chaque boîte seulement après chaque boîte qui en dépend. Se tromper dans cet ordre donne des gradients faux en silence.
Vois-le
Imagine x utilisé deux fois : a = x * 2, b = x * 3, L = a + b. C'est un losange. En revenant de L, il faut avoir fini avec a et b avant de traiter x, parce que le gradient de x est la somme de ce qui revient par les deux.
La solution est de lister les nœuds dans l'ordre topologique : chaque nœud après tous ses parents. La passe arrière parcourt alors cette liste à l'envers. Une recherche en profondeur construit la liste : visite d'abord les parents d'un nœud, puis ajoute le nœud, et saute les nœuds déjà vus.
Ordre topologique : un ordre d'un graphe où chaque nœud vient après les nœuds dont il dépend.
Mots et symboles de cette leçon
- Tensor
- ici : un tableau plus son gradient plus les Tensors dont il vient
- ordre topologique
- chaque nœud listé après les nœuds dont il dépend
- .grad
- le gradient de la perte finale par rapport à ce Tensor
- unbroadcast
- sommer un gradient pour le ramener à la forme depuis laquelle il a été étiré
Écris la méthode topo : renvoie chaque nœud dont self dépend (lui compris), chacun après tous ses parents, sans doublons.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.