Rétropropagation et vérification du gradient
Tu as entraîné un modèle jouet en poussant les poids vers le bas. Mais d'où viennent les gradients, et comment savoir qu'ils sont justes ? Cette leçon répond aux deux, et la seconde réponse, la vérification du gradient (gradient checking), est l'habitude qui sépare les réseaux de neurones qui marchent de ceux cassés en silence.
La rétropropagation n'est que la règle de la chaîne. Fais passer un exemple dans un tout petit modèle : prédis z = w * x, puis mesure l'erreur au carré L = (z - y)**2. Pour améliorer w, il te faut dL/dw. Calcule-le en deux sauts et multiplie :
dL/dz = 2 * (z - y) # how loss moves with the prediction
dz/dw = x # how the prediction moves with w
dL/dw = dL/dz * dz/dw = 2 * (z - y) * xCe produit EST la rétropropagation, en miniature : chaque couche multiplie le gradient qui remonte par sa propre dérivée locale. Empiles-en un million et tu as un réseau profond.
Maintenant, ta formule est-elle juste ? Vérifie-la numériquement. La définition d'une dérivée est un tout petit décalage, donc estime-la avec une différence finie centrée et vérifie que le gradient analytique concorde :
numeric = (L(w + h) - L(w - h)) / (2 * h) # h tiny, e.g. 1e-5
assert abs(analytic - numeric) < 1e-6 # they should agree to many digitsS'ils ne concordent pas, ta passe arrière a un bug ; toute base de code sérieuse en deep learning vérifie ses gradients pour exactement cette raison.
Construis deux fonctions. loss(w, x, y) renvoie (w*x - y)**2. grad(w, x, y) renvoie le gradient analytique dL/dw = 2*(w*x - y)*x. Les tests cachés vérifieront ton grad face à une différence finie de ta propre loss sur beaucoup de points aléatoires, donc une mauvaise formule ne peut pas passer. Appuie sur Run pour voir l'analytique et le numérique concorder.
Écris loss(w, x, y) qui renvoie l'erreur au carré (w*x - y)**2, et grad(w, x, y) qui renvoie son gradient analytique par rapport à w, qui vaut par la règle de la chaîne 2*(w*x - y)*x. Ton grad sera comparé à une différence finie centrée de ta propre loss en beaucoup de points aléatoires, donc ce doit être la vraie dérivée, pas une approximation ni une constante.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.