Programme Leçon 55 sur 246 · Module 4 : Ton propre moteur d'autograd
Module 4 : Ton propre moteur d'autograd

La passe arrière pour l'addition et la multiplication

Pourquoi c'est important Avec ces deux règles et l'ordre, ton moteur peut déjà différencier n'importe quelle formule faite de sommes et de produits.

Chaque opération attache une petite fonction, _backward, au Tensor qu'elle crée. Quand on l'appelle, elle lit out.grad et ajoute sa part au grad de chaque parent :

  • Pour out = a + b : a reçoit out.grad, b reçoit out.grad.
  • Pour out = a * b : a reçoit out.grad * b.data, b reçoit out.grad * a.data.

Ajoute toujours au grad du parent (style +=), n'écrase jamais : un nœud utilisé deux fois doit rassembler les deux contributions. Puis backward() met le grad du nœud final à 1 et appelle chaque _backward dans l'ordre topologique inverse.

(La fonction utilitaire unbroadcast fournie, importée en haut, gère les formes qui ont été étirées par le broadcasting. Tu écriras ta propre version dans deux leçons ; pour l'instant, enveloppe chaque contribution avec elle.)

Mots et symboles de cette leçon
Tensor
ici : un tableau plus son gradient plus les Tensors dont il vient
ordre topologique
chaque nœud listé après les nœuds dont il dépend
.grad
le gradient de la perte finale par rapport à ce Tensor
unbroadcast
sommer un gradient pour le ramener à la forme depuis laquelle il a été étiré
À ton tour

Remplis les deux fonctions _backward et la méthode backward. Le test caché vérifie le gradient de formules qui mélangent + et *, y compris un nœud utilisé deux fois.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.