Softmax et entropie croisée ensemble
Pourquoi c'est important Chaque classifieur de ce cours se termine par softmax plus l'entropie croisée. Leur gradient combiné est un des résultats les plus utiles de l'apprentissage profond, et il est court.
De tout petits nombres
Des logits [2, 1, 0], un softmax [0.665, 0.245, 0.090], la vraie classe 0 (one-hot [1, 0, 0]). Le gradient de la perte par rapport aux logits est simplement softmax moins one-hot : [-0.335, 0.245, 0.090]. En mots : pousse le score de la vraie classe vers le haut de ce qui lui manquait, et pousse chaque autre score vers le bas de la probabilité qu'il a prise à tort.
One-hot : un vecteur de zéros avec un seul 1 à la vraie classe.
Pour un lot, fais la moyenne sur les lignes : (softmax(Z) - onehot) / n.
Récap Gradient = prédiction moins vérité, encore une fois.
Mots et symboles de cette leçon
- one-hot
- des zéros avec un seul 1 à la vraie classe
- vérification du gradient
- comparer ta formule de gradient avec une estimation par poussée et mesure
Écris loss_and_grad(Z, labels) qui renvoie l'entropie croisée moyenne et son gradient par rapport à Z (de forme (batch, classes)). Utilise un softmax stable. Vérifie-le toi-même avec ton vérificateur de gradient avant de soumettre.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.