Trouve et corrige le bug caché
Pourquoi c'est important Les pires bugs en apprentissage automatique ne plantent pas. Ils entraînent, un peu moins bien qu'ils ne devraient, et personne ne le remarque. Une vérification du gradient les trouve en quelques secondes.
Un collègue a réécrit le code des gradients de l'atelier pour le rendre plus rapide : suspect_grads. Tu n'as pas le droit de le lire, comme souvent dans le vrai travail (une bibliothèque, la branche d'un coéquipier, du code généré). Entraînée avec lui, ta référence de base apprend encore : sur le plan par défaut du cours, le score language n'est pire que d'environ 0.05, et sur images, avec la graine 0, il obtient même un meilleur score. Les deux sont dans ce qu'un lecteur distrait appelle du bruit. Quelque chose cloche dedans.
Vérifie-le comme le module 3 l'a appris : pousse un poids d'une petite quantité, mesure le changement de la perte, et compare avec la pente que le code annonce. Fais-le pour 5 entrées de chacun de W1, b1, W2 et b2 sur un petit modèle (largeur 8, un lot de 16), choisies parmi les entrées dont la pente annoncée n'est pas nulle (avec des entrées one-hot, la plupart des pentes de W1 valent exactement 0, et une vérification à cet endroit ne prouve rien). Mesure la perte en float64 avec studio.loss64 et une poussée de 1e-4 ; considère une erreur relative au-dessus de 0.01 comme fausse.
Mots et symboles de cette leçon
- référence de base
- l'exécution simple à laquelle chaque changement est comparé, sur les mêmes graines
- vérification du gradient
- comparer la pente que ton code calcule avec la pente mesurée en poussant un poids
Écris check(grad_fn) qui renvoie, pour chacun de 'W1', 'b1', 'W2', 'b2', la plus grande erreur relative sur 5 entrées. Affecte à wrong les noms triés dont l'erreur dépasse 0.01, et à cause une phrase : ce qui, dans la passe arrière, se trouve là où sont les gradients faux, et ce qui y a probablement été oublié. Puis écris toi-même fixed_grads (la passe avant est m.forward ; la perte et sa pente sont studio.loss_and_dout). Puis entraîne ta référence de base (graine 0) avec chacun et affiche les deux scores.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.