Examen de passage : les maths, en code (IA éteinte)
Pourquoi c'est important Trois morceaux de ce module reviennent dans chacun des suivants : un softmax qui survit aux grands nombres, les gradients d'un produit matriciel, et la divergence KL. Tu connais déjà ces maths ? Tu peux passer cet examen d'abord, avant les autres leçons : le réussir marque ce module comme terminé et ouvre le suivant.
Tuteur IA éteint. Pour le softmax, utilise l'astuce du décalage : soustraire le plus grand score de chaque score ne change rien sur le papier, mais garde chaque exp au plus égale à 1. Les vrais logits peuvent être grands, et un softmax qui renvoie nan sur de grandes entrées ruine discrètement un entraînement.
Mots et symboles de cette leçon
- dérivée (df/dx)
- à quelle vitesse la sortie change par unité de poussée de l'entrée
- softmax
- l'exp de chaque score divisée par le total : les scores deviennent des probabilités
- entropie croisée
- moins le log de la probabilité donnée à la bonne réponse
- KL(P || Q)
- à quel point deux distributions diffèrent ; nulle seulement quand elles correspondent ; l'ordre compte
Écris, pour des tableaux 2D de logits (une ligne par exemple) :
logsumexp(z): le log de la somme des exp le long de chaque ligne, sûr pour des valeurs énormes.stable_softmax(z): le softmax le long de chaque ligne, sûr pour des valeurs énormes.nll(z, labels): l'entropie croisée moyenne calculée directement à partir des logits commelogsumexp - z[true], sans jamais prendre le log d'un softmax.matmul_grads(X, W, G): pour Y = X @ W et une perte dont le gradient par rapport à Y vaut G, renvoie(dX, dW), les gradients par rapport à X et W, sans construire aucune jacobienne.kl_normal(m1, s1, m2, s2): la divergence KL de la courbe en cloche N(m1, s1) vers N(m2, s2), où s1 et s2 sont des dispersions (écarts types).
Les vérifications utilisent de nouvelles formes et de nouveaux nombres aléatoires à chaque fois, et comparent avec les poussées et avec une intégrale numérique.
IA désactivée : pas de tuteur, d'indices ou de solution détaillée pour celui-ci. Ta propre réflexion uniquement.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Ta progression est comptée anonymement. Change cela
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.