La passe arrière pour l'addition et la multiplication
Pourquoi c'est important Avec ces deux règles et l'ordre, ton moteur peut déjà différencier n'importe quelle formule faite de sommes et de produits.
Chaque opération attache une petite fonction, _backward, au Tensor qu'elle crée. Quand on l'appelle, elle lit out.grad et ajoute sa part au grad de chaque parent :
- Pour
out = a + b: a reçoitout.grad, b reçoitout.grad. - Pour
out = a * b: a reçoitout.grad * b.data, b reçoitout.grad * a.data.
Ajoute toujours au grad du parent (style +=), n'écrase jamais : un nœud utilisé deux fois doit rassembler les deux contributions. Puis backward() met le grad du nœud final à 1 et appelle chaque _backward dans l'ordre topologique inverse.
(La fonction utilitaire unbroadcast fournie, importée en haut, gère les formes qui ont été étirées par le broadcasting. Tu écriras ta propre version dans deux leçons ; pour l'instant, enveloppe chaque contribution avec elle.)
Mots et symboles de cette leçon
- Tensor
- ici : un tableau plus son gradient plus les Tensors dont il vient
- ordre topologique
- chaque nœud listé après les nœuds dont il dépend
- .grad
- le gradient de la perte finale par rapport à ce Tensor
- unbroadcast
- sommer un gradient pour le ramener à la forme depuis laquelle il a été étiré
Remplis les deux fonctions _backward et la méthode backward. Le test caché vérifie le gradient de formules qui mélangent + et *, y compris un nœud utilisé deux fois.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.