Programme Leçon 47 sur 246 · Module 3 : Du neurone au MLP
Module 3 : Du neurone au MLP

Softmax et entropie croisée ensemble

Pourquoi c'est important Chaque classifieur de ce cours se termine par softmax plus l'entropie croisée. Leur gradient combiné est un des résultats les plus utiles de l'apprentissage profond, et il est court.

De tout petits nombres

Des logits [2, 1, 0], un softmax [0.665, 0.245, 0.090], la vraie classe 0 (one-hot [1, 0, 0]). Le gradient de la perte par rapport aux logits est simplement softmax moins one-hot : [-0.335, 0.245, 0.090]. En mots : pousse le score de la vraie classe vers le haut de ce qui lui manquait, et pousse chaque autre score vers le bas de la probabilité qu'il a prise à tort.

One-hot : un vecteur de zéros avec un seul 1 à la vraie classe.

Pour un lot, fais la moyenne sur les lignes : (softmax(Z) - onehot) / n.

Récap Gradient = prédiction moins vérité, encore une fois.

Mots et symboles de cette leçon
one-hot
des zéros avec un seul 1 à la vraie classe
vérification du gradient
comparer ta formule de gradient avec une estimation par poussée et mesure
À ton tour

Écris loss_and_grad(Z, labels) qui renvoie l'entropie croisée moyenne et son gradient par rapport à Z (de forme (batch, classes)). Utilise un softmax stable. Vérifie-le toi-même avec ton vérificateur de gradient avant de soumettre.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.