Le gradient de softmax, et pourquoi la perte le cache
Pourquoi c'est important Softmax se trouve dans l'attention, où son gradient est nécessaire tout seul. Combiné à l'entropie croisée, il se réduit à quelque chose de très simple, et savoir pourquoi est ce qui te permet de faire confiance à la version simple.
Le gradient complet
Pour p = softmax(z), chaque sortie dépend de chaque score. Pousser zj déplace pi de pi (1 - pi) fois la poussée quand i = j, et de - pi pj quand i n'est pas j : augmenter un score retire de la probabilité à tous les autres. Sous forme d'une seule table (la jacobienne) : diag(p) - p pT.
La passe arrière ne construit jamais cette table. Étant donné g = dL/dp, le gradient par rapport à z vaut p * (g - (g · p)), élément par élément : chaque pi fois à quel point son propre g dépasse la moyenne de g pondérée par les probabilités.
De tout petits nombres
p = [0.5, 0.3, 0.2] et g = [1, 0, 0]. Alors g · p = 0.5, et dL/dz = [0.5 × 0.5, 0.3 × -0.5, 0.2 × -0.5] = [0.25, -0.15, -0.10]. Les éléments font 0 au total : ajouter la même quantité à chaque score ne change rien.
Pourquoi l'entropie croisée le rend simple
Avec L = -log py, g vaut -1 / py pour la vraie classe et 0 ailleurs. Mets ça dans p * (g - (g · p)) et ça devient p - onehot(y) : la formule qu'a utilisée le module 3. La forme simple est ce même gradient, pas un raccourci.
Récap Passe arrière de softmax : p * (g - g · p). Avec l'entropie croisée par-dessus : p - onehot.
Mots et symboles de cette leçon
- softmax
- l'exp de chaque score divisée par le total : les scores deviennent des probabilités
- entropie croisée
- moins le log de la probabilité donnée à la bonne réponse
Écris softmax_jacobian(z) (un tableau 1D de scores en entrée, la table (n, n) en sortie) et softmax_backward(z, g) pour des tableaux 2D (une ligne par exemple), avec p * (g - (g · p)) ligne par ligne, sans construire la table. Le test caché vérifie les deux par rapport aux poussées et vérifie qu'avec le g de l'entropie croisée la réponse vaut p - onehot.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.