Programme Leçon 239 sur 246 · Module 23 : Atelier final : une fiche de modèle exécutable
Module 23 : Atelier final : une fiche de modèle exécutable

Trouve et corrige le bug caché

Pourquoi c'est important Les pires bugs en apprentissage automatique ne plantent pas. Ils entraînent, un peu moins bien qu'ils ne devraient, et personne ne le remarque. Une vérification du gradient les trouve en quelques secondes.

Un collègue a réécrit le code des gradients de l'atelier pour le rendre plus rapide : suspect_grads. Tu n'as pas le droit de le lire, comme souvent dans le vrai travail (une bibliothèque, la branche d'un coéquipier, du code généré). Entraînée avec lui, ta référence de base apprend encore : sur le plan par défaut du cours, le score language n'est pire que d'environ 0.05, et sur images, avec la graine 0, il obtient même un meilleur score. Les deux sont dans ce qu'un lecteur distrait appelle du bruit. Quelque chose cloche dedans.

Vérifie-le comme le module 3 l'a appris : pousse un poids d'une petite quantité, mesure le changement de la perte, et compare avec la pente que le code annonce. Fais-le pour 5 entrées de chacun de W1, b1, W2 et b2 sur un petit modèle (largeur 8, un lot de 16), choisies parmi les entrées dont la pente annoncée n'est pas nulle (avec des entrées one-hot, la plupart des pentes de W1 valent exactement 0, et une vérification à cet endroit ne prouve rien). Mesure la perte en float64 avec studio.loss64 et une poussée de 1e-4 ; considère une erreur relative au-dessus de 0.01 comme fausse.

Mots et symboles de cette leçon
référence de base
l'exécution simple à laquelle chaque changement est comparé, sur les mêmes graines
vérification du gradient
comparer la pente que ton code calcule avec la pente mesurée en poussant un poids
À ton tour

Écris check(grad_fn) qui renvoie, pour chacun de 'W1', 'b1', 'W2', 'b2', la plus grande erreur relative sur 5 entrées. Affecte à wrong les noms triés dont l'erreur dépasse 0.01, et à cause une phrase : ce qui, dans la passe arrière, se trouve là où sont les gradients faux, et ce qui y a probablement été oublié. Puis écris toi-même fixed_grads (la passe avant est m.forward ; la perte et sa pente sont studio.loss_and_dout). Puis entraîne ta référence de base (graine 0) avec chacun et affiche les deux scores.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.