À voir : le softmax
La régression logistique t'a donné une probabilité pour deux classes. Et pour plusieurs classes, ou chaque fois qu'un modèle doit transformer des scores bruts en un ensemble propre de probabilités ? Ce travail revient au softmax.
Appuie sur lecture. Regarde quatre scores bruts (logits) être passés à l'exponentielle (ce qui amplifie l'avance) puis normalisés pour faire exactement 1 au total, devenant une distribution de probabilités. Cette fonction apparaît partout dans la suite : poids d'attention, classifieurs, et un LLM qui choisit son prochain token.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.