Programme Leçon 34 sur 246 · Module 2 : Maths et probabilités, juste ce qu'il faut
Module 2 : Maths et probabilités, juste ce qu'il faut

Des scores aux probabilités (softmax)

Pourquoi c'est important Un classifieur de chiffres se termine par 10 scores bruts, un par chiffre. Pour les lire comme « à quel point chaque chiffre est probable », ils doivent être positifs et faire 1 au total.

De tout petits nombres

Des scores [2, 1, 0]. Rends-les positifs avec exp : environ [7.39, 2.72, 1.00]. Divise par le total, 11.11 : [0.665, 0.245, 0.090]. Ils font 1 au total, gardent le même ordre, et un score plus élevé veut toujours dire une probabilité plus élevée.

Softmax : l'exp de chaque score, divisée par la somme de toutes les exp. Logits : les scores bruts qui entrent.

Un piège : ajouter le même nombre à chaque score ne change rien (ça s'annule dans la division). Essaie [1002, 1001, 1000] : même réponse que [2, 1, 0] sur le papier, mais exp(1002) déborde sur un ordinateur. Tu corrigeras ça dans l'examen de passage.

Récap exp, puis divise par le total.

Mots et symboles de cette leçon
softmax
l'exp de chaque score divisée par le total : les scores deviennent des probabilités
À ton tour

Écris softmax(z) pour un tableau 1D (la version simple suffit ici), et shift_invariant : affecte-lui True si ajouter le même nombre à chaque score laisse la sortie identique, ou False si ça la change.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.