Construis un moteur d'autograd
Tu as calculé un gradient à la main et tu l'as vérifié. Les vrais réseaux ont des millions de paramètres, donc impossible de dériver chacun à la main. L'astuce qui rend le deep learning possible est la différentiation automatique : chaque valeur se souvient de comment elle a été calculée, et les gradients remontent automatiquement à travers cet historique. Tu vas construire le moteur, la même idée qu'à l'intérieur de PyTorch et du micrograd de Karpathy, en quelques lignes.
L'unité de base est une Value : un nombre qui stocke aussi son gradient et une toute petite fonction qui sait pousser le gradient vers ses entrées. Quand tu additionnes ou multiplies deux Value, le résultat garde la trace de ses parents. L'échafaudage ci-dessous te donne __init__ et une méthode backward() qui parcourt le graphe dans le bon ordre (un tri topologique, puis la règle de la chaîne depuis la sortie). Tu codes les deux gradients locaux, c'est toute la leçon :
def __add__(self, other):
out = Value(self.data + other.data, (self, other))
def _backward():
self.grad += out.grad # d(a+b)/da = 1
other.grad += out.grad # d(a+b)/db = 1
out._backward = _backward
return outL'addition recopie simplement le gradient entrant vers les deux entrées. C'est la multiplication qui fait travailler la règle de la chaîne : d(a*b)/da = b et d(a*b)/db = a, chacun multiplié par le gradient qui arrive d'en haut (out.grad). Note le +=, pas = : une valeur utilisée à plusieurs endroits accumule le gradient de chacun.
Complète __add__ et __mul__ pour que leurs fermetures _backward fixent les bons gradients locaux. Les tests cachés construisent des expressions, appellent .backward(), et vérifient chaque résultat face à une différence finie, donc une mauvaise règle ne peut pas passer. Appuie sur Run pour rétropropager à travers a*b + a.
Complète __add__ et __mul__ de la classe Value pour que la rétropropagation soit juste. Dans le _backward de __add__, ajoute out.grad à self.grad ET à other.grad (dérivée locale 1). Dans le _backward de __mul__, ajoute other.data * out.grad à self.grad et self.data * out.grad à other.grad (la règle du produit). Utilise += pour que les valeurs réutilisées accumulent le gradient. La méthode backward() fournie gère l'ordre.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.