Un vérificateur de gradient que tu utiliseras tout le cours
Pourquoi c'est important Un mauvais gradient ne plante pas. L'entraînement se passe simplement mal, en silence. Un vérificateur de gradient attrape l'erreur en quelques secondes, et tu utiliseras celui-ci dans chaque module.
L'idée, c'est la poussée du module 2, faite pour chaque poids : pousse le poids i vers le haut et vers le bas de h, mesure la perte les deux fois, et divise la différence par 2h. Compare avec le gradient de ta formule.
Proche, c'est à quel point ?
Utilise l'erreur relative : |a - b| divisé par le plus grand de |a| et |b| (ou 1e-8 si les deux sont minuscules). En dessous de 1e-6, ça passe ; au-dessus de 1e-3, c'est presque toujours un bogue.
Vérification du gradient : comparer un gradient analytique (venant de ta formule) avec un gradient numérique (venant de poussées).
Récap Un arbitre lent mais digne de confiance. Utilise-le avant de faire confiance à tout nouveau gradient.
Mots et symboles de cette leçon
- taux d'apprentissage (lr)
- la taille de chaque pas d'entraînement
- vérification du gradient
- comparer ta formule de gradient avec une estimation par poussée et mesure
Écris numeric_grad(f, w, h=1e-5) (w est un tableau NumPy de n'importe quelle forme ; renvoie un tableau de la même forme) et grad_check(f, grad, w) qui renvoie la plus grande erreur relative. Ici f(w) prend le tableau de poids et renvoie la perte sous forme d'un seul nombre, et grad est un tableau (le gradient de ta formule en w, déjà calculé), pas une fonction. Ne modifie pas w de façon permanente. Pour visiter chaque position d'un tableau de n'importe quelle forme, for idx in np.ndindex(w.shape): donne chaque tuple d'index tour à tour. Le test caché donne à ton vérificateur trois gradients subtilement faux ; chacun doit obtenir un score au-dessus de 1e-3.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.