Programme Leçon 104 sur 250 · L'intuition des réseaux de neurones, les LLM et le projet final IA
L'intuition des réseaux de neurones, les LLM et le projet final IA

Rétropropagation et vérification du gradient

Tu as entraîné un modèle jouet en poussant les poids vers le bas. Mais d'où viennent les gradients, et comment savoir qu'ils sont justes ? Cette leçon répond aux deux, et la seconde réponse, la vérification du gradient (gradient checking), est l'habitude qui sépare les réseaux de neurones qui marchent de ceux cassés en silence.

La rétropropagation n'est que la règle de la chaîne. Fais passer un exemple dans un tout petit modèle : prédis z = w * x, puis mesure l'erreur au carré L = (z - y)**2. Pour améliorer w, il te faut dL/dw. Calcule-le en deux sauts et multiplie :

dL/dz = 2 * (z - y)        # how loss moves with the prediction
dz/dw = x                  # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * x

Ce produit EST la rétropropagation, en miniature : chaque couche multiplie le gradient qui remonte par sa propre dérivée locale. Empiles-en un million et tu as un réseau profond.

Maintenant, ta formule est-elle juste ? Vérifie-la numériquement. La définition d'une dérivée est un tout petit décalage, donc estime-la avec une différence finie centrée et vérifie que le gradient analytique concorde :

numeric = (L(w + h) - L(w - h)) / (2 * h)   # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6   # they should agree to many digits

S'ils ne concordent pas, ta passe arrière a un bug ; toute base de code sérieuse en deep learning vérifie ses gradients pour exactement cette raison.

Construis deux fonctions. loss(w, x, y) renvoie (w*x - y)**2. grad(w, x, y) renvoie le gradient analytique dL/dw = 2*(w*x - y)*x. Les tests cachés vérifieront ton grad face à une différence finie de ta propre loss sur beaucoup de points aléatoires, donc une mauvaise formule ne peut pas passer. Appuie sur Run pour voir l'analytique et le numérique concorder.

À ton tour

Écris loss(w, x, y) qui renvoie l'erreur au carré (w*x - y)**2, et grad(w, x, y) qui renvoie son gradient analytique par rapport à w, qui vaut par la règle de la chaîne 2*(w*x - y)*x. Ton grad sera comparé à une différence finie centrée de ta propre loss en beaucoup de points aléatoires, donc ce doit être la vraie dérivée, pas une approximation ni une constante.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.