Programme Leçon 46 sur 246 · Module 3 : Du neurone au MLP
Module 3 : Du neurone au MLP

Un vérificateur de gradient que tu utiliseras tout le cours

Pourquoi c'est important Un mauvais gradient ne plante pas. L'entraînement se passe simplement mal, en silence. Un vérificateur de gradient attrape l'erreur en quelques secondes, et tu utiliseras celui-ci dans chaque module.

L'idée, c'est la poussée du module 2, faite pour chaque poids : pousse le poids i vers le haut et vers le bas de h, mesure la perte les deux fois, et divise la différence par 2h. Compare avec le gradient de ta formule.

Proche, c'est à quel point ?

Utilise l'erreur relative : |a - b| divisé par le plus grand de |a| et |b| (ou 1e-8 si les deux sont minuscules). En dessous de 1e-6, ça passe ; au-dessus de 1e-3, c'est presque toujours un bogue.

Vérification du gradient : comparer un gradient analytique (venant de ta formule) avec un gradient numérique (venant de poussées).

Récap Un arbitre lent mais digne de confiance. Utilise-le avant de faire confiance à tout nouveau gradient.

Mots et symboles de cette leçon
taux d'apprentissage (lr)
la taille de chaque pas d'entraînement
vérification du gradient
comparer ta formule de gradient avec une estimation par poussée et mesure
À ton tour

Écris numeric_grad(f, w, h=1e-5) (w est un tableau NumPy de n'importe quelle forme ; renvoie un tableau de la même forme) et grad_check(f, grad, w) qui renvoie la plus grande erreur relative. Ici f(w) prend le tableau de poids et renvoie la perte sous forme d'un seul nombre, et grad est un tableau (le gradient de ta formule en w, déjà calculé), pas une fonction. Ne modifie pas w de façon permanente. Pour visiter chaque position d'un tableau de n'importe quelle forme, for idx in np.ndindex(w.shape): donne chaque tuple d'index tour à tour. Le test caché donne à ton vérificateur trois gradients subtilement faux ; chacun doit obtenir un score au-dessus de 1e-3.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.