Softmax et entropie croisée en une seule étape
Pourquoi c'est important Tu pourrais construire softmax à partir de exp, sum et d'une division, mais le résultat est plus lent et peut déborder. Toutes les vraies bibliothèques fusionnent softmax et entropie croisée en une seule opération avec le gradient simple que tu as dérivé au module 3.
Une opération fusionnée calcule sa passe avant d'un coup (avec le décalage par le max pour la sécurité) et a une seule règle de passe arrière : (softmax - onehot) / n, fois le gradient qui arrive. Il te faut aussi relu pour un réseau : laisse passer le gradient là où l'entrée était positive.
Récap Fusionne ce que tu peux ; le gradient combiné est plus simple que ses parties.
Mots et symboles de cette leçon
- Tensor
- ici : un tableau plus son gradient plus les Tensors dont il vient
- .grad
- le gradient de la perte finale par rapport à ce Tensor
- unbroadcast
- sommer un gradient pour le ramener à la forme depuis laquelle il a été étiré
Écris relu et cross_entropy(labels) (sur un Tensor (batch, classes) de logits, qui renvoie un Tensor scalaire) avec leurs règles de passe arrière.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.