Programme Leçon 59 sur 246 · Module 4 : Ton propre moteur d'autograd
Module 4 : Ton propre moteur d'autograd

Softmax et entropie croisée en une seule étape

Pourquoi c'est important Tu pourrais construire softmax à partir de exp, sum et d'une division, mais le résultat est plus lent et peut déborder. Toutes les vraies bibliothèques fusionnent softmax et entropie croisée en une seule opération avec le gradient simple que tu as dérivé au module 3.

Une opération fusionnée calcule sa passe avant d'un coup (avec le décalage par le max pour la sécurité) et a une seule règle de passe arrière : (softmax - onehot) / n, fois le gradient qui arrive. Il te faut aussi relu pour un réseau : laisse passer le gradient là où l'entrée était positive.

Récap Fusionne ce que tu peux ; le gradient combiné est plus simple que ses parties.

Mots et symboles de cette leçon
Tensor
ici : un tableau plus son gradient plus les Tensors dont il vient
.grad
le gradient de la perte finale par rapport à ce Tensor
unbroadcast
sommer un gradient pour le ramener à la forme depuis laquelle il a été étiré
À ton tour

Écris relu et cross_entropy(labels) (sur un Tensor (batch, classes) de logits, qui renvoie un Tensor scalaire) avec leurs règles de passe arrière.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.