Programme Leçon 60 sur 246 · Module 4 : Ton propre moteur d'autograd
Module 4 : Ton propre moteur d'autograd

Pointe le vérificateur sur ton moteur

Pourquoi c'est important Un moteur avec une seule règle fausse s'entraînera, lentement et mal, et tu ne le sauras peut-être jamais. À partir de maintenant, chaque nouvelle opération est vérifiée avant d'être utilisée.

Ton vérificateur du module 3 poussait des tableaux NumPy. Ici, pousse sur place les data d'un Tensor, reconstruis le calcul, et compare avec ce que backward a laissé dans .grad.

La recette : (1) construis la sortie et appelle backward() une fois pour obtenir les gradients du moteur. (2) Pour chaque entrée et chaque élément, pousse data vers le haut et vers le bas, reconstruis, et lis la valeur de la sortie. (3) Rapporte la plus grande erreur relative.

Récap Ne fais jamais confiance à une nouvelle règle de passe arrière tant qu'elle n'a pas passé une vérification.

Mots et symboles de cette leçon
Tensor
ici : un tableau plus son gradient plus les Tensors dont il vient
.grad
le gradient de la perte finale par rapport à ce Tensor
unbroadcast
sommer un gradient pour le ramener à la forme depuis laquelle il a été étiré
À ton tour

Écris engine_check(build, inputs) : build() renvoie un Tensor scalaire calculé à partir des Tensors de la liste inputs. Renvoie la plus grande erreur relative entre les gradients du moteur et ceux obtenus par poussée. Remets le grad de chaque entrée à zéro avant d'appeler backward. Le test caché plante trois bogues dans le moteur, un à la fois ; ton vérificateur doit rapporter plus de 1e-3 pour chacun, et moins de 1e-6 pour le moteur correct.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.