Programme Leçon 57 sur 246 · Module 4 : Ton propre moteur d'autograd
Module 4 : Ton propre moteur d'autograd

La passe arrière quand les formes s'étirent (broadcasting)

Pourquoi c'est important C'est le bogue d'autograd le plus courant au monde. Un biais de forme (4,) ajouté à un lot de forme (32, 4) est utilisé 32 fois, donc son gradient doit additionner les 32 contributions.

De tout petits nombres

out = X + b avec X (3, 2) et b (2,). Le gradient qui arrive est (3, 2). b a été copié sur les 3 lignes, donc chaque copie a reçu une part : le gradient de b est la somme sur les lignes, de forme (2,). Si tu renvoies le tableau (3, 2), les formes ne correspondent plus, ou pire, le broadcasting le cache et les nombres sont 3 fois faux.

La règle : partout où le broadcasting a ajouté une direction, somme-la pour la faire disparaître ; partout où il a étiré une direction de taille 1, somme-la mais garde-la de taille 1.

Récap Copié vers l'avant veut dire sommé vers l'arrière.

Mots et symboles de cette leçon
autograd
des gradients automatiques : tu écris la passe avant, le moteur fait la passe arrière
Tensor
ici : un tableau plus son gradient plus les Tensors dont il vient
.grad
le gradient de la perte finale par rapport à ce Tensor
unbroadcast
sommer un gradient pour le ramener à la forme depuis laquelle il a été étiré
À ton tour

Écris unbroadcast(grad, shape) : somme grad jusqu'à la forme shape. Ton addition et ta multiplication l'appellent déjà.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.