La passe arrière pour le produit matriciel
Pourquoi c'est important Le produit matriciel est la bête de somme de chaque couche. Sa règle de passe arrière tient en deux lignes, et tu peux la dériver à partir des seules formes.
De tout petits nombres
Prends out = A @ B avec A de forme (2, 3) et B de forme (3, 4), donc out est (2, 4). Le gradient qui arrive, G, a la forme de out (2, 4). Le gradient de A doit avoir la forme de A (2, 3). La seule façon de faire (2, 3) à partir de G (2, 4) et B (3, 4) est G @ B.T. De même, le gradient de B (3, 4) doit être A.T @ G.
Vérifie un élément de tête : out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. Pousse A[0, 1] et out[0, 0] bouge de B[1, 0] fois la poussée. C'est exactement l'élément (0, 1) de G @ B.T quand G vaut 1 en (0, 0) et 0 ailleurs.
Récap dA = G @ B.T, dB = A.T @ G. Si tu oublies, fais correspondre les formes.
Mots et symboles de cette leçon
- Tensor
- ici : un tableau plus son gradient plus les Tensors dont il vient
- .grad
- le gradient de la perte finale par rapport à ce Tensor
- unbroadcast
- sommer un gradient pour le ramener à la forme depuis laquelle il a été étiré
Écris __matmul__ avec son _backward. Le test caché vérifie le gradient de (A @ B) * C pour des formes aléatoires.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.