La passe arrière quand les formes s'étirent (broadcasting)
Pourquoi c'est important C'est le bogue d'autograd le plus courant au monde. Un biais de forme (4,) ajouté à un lot de forme (32, 4) est utilisé 32 fois, donc son gradient doit additionner les 32 contributions.
De tout petits nombres
out = X + b avec X (3, 2) et b (2,). Le gradient qui arrive est (3, 2). b a été copié sur les 3 lignes, donc chaque copie a reçu une part : le gradient de b est la somme sur les lignes, de forme (2,). Si tu renvoies le tableau (3, 2), les formes ne correspondent plus, ou pire, le broadcasting le cache et les nombres sont 3 fois faux.
La règle : partout où le broadcasting a ajouté une direction, somme-la pour la faire disparaître ; partout où il a étiré une direction de taille 1, somme-la mais garde-la de taille 1.
Récap Copié vers l'avant veut dire sommé vers l'arrière.
Mots et symboles de cette leçon
- autograd
- des gradients automatiques : tu écris la passe avant, le moteur fait la passe arrière
- Tensor
- ici : un tableau plus son gradient plus les Tensors dont il vient
- .grad
- le gradient de la perte finale par rapport à ce Tensor
- unbroadcast
- sommer un gradient pour le ramener à la forme depuis laquelle il a été étiré
Écris unbroadcast(grad, shape) : somme grad jusqu'à la forme shape. Ton addition et ta multiplication l'appellent déjà.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.