Programme Leçon 38 sur 246 · Module 2 : Maths et probabilités, juste ce qu'il faut
Module 2 : Maths et probabilités, juste ce qu'il faut

Examen de passage : les maths, en code (IA éteinte)

Pourquoi c'est important Trois morceaux de ce module reviennent dans chacun des suivants : un softmax qui survit aux grands nombres, les gradients d'un produit matriciel, et la divergence KL. Tu connais déjà ces maths ? Tu peux passer cet examen d'abord, avant les autres leçons : le réussir marque ce module comme terminé et ouvre le suivant.

Tuteur IA éteint. Pour le softmax, utilise l'astuce du décalage : soustraire le plus grand score de chaque score ne change rien sur le papier, mais garde chaque exp au plus égale à 1. Les vrais logits peuvent être grands, et un softmax qui renvoie nan sur de grandes entrées ruine discrètement un entraînement.

Mots et symboles de cette leçon
dérivée (df/dx)
à quelle vitesse la sortie change par unité de poussée de l'entrée
softmax
l'exp de chaque score divisée par le total : les scores deviennent des probabilités
entropie croisée
moins le log de la probabilité donnée à la bonne réponse
KL(P || Q)
à quel point deux distributions diffèrent ; nulle seulement quand elles correspondent ; l'ordre compte
À ton tour

Écris, pour des tableaux 2D de logits (une ligne par exemple) :

  • logsumexp(z) : le log de la somme des exp le long de chaque ligne, sûr pour des valeurs énormes.
  • stable_softmax(z) : le softmax le long de chaque ligne, sûr pour des valeurs énormes.
  • nll(z, labels) : l'entropie croisée moyenne calculée directement à partir des logits comme logsumexp - z[true], sans jamais prendre le log d'un softmax.
  • matmul_grads(X, W, G) : pour Y = X @ W et une perte dont le gradient par rapport à Y vaut G, renvoie (dX, dW), les gradients par rapport à X et W, sans construire aucune jacobienne.
  • kl_normal(m1, s1, m2, s2) : la divergence KL de la courbe en cloche N(m1, s1) vers N(m2, s2), où s1 et s2 sont des dispersions (écarts types).

Les vérifications utilisent de nouvelles formes et de nouveaux nombres aléatoires à chaque fois, et comparent avec les poussées et avec une intégrale numérique.

IA désactivée : pas de tuteur, d'indices ou de solution détaillée pour celui-ci. Ta propre réflexion uniquement.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Code · s'exécute dans ton navigateur
Sortie

        

Ta progression est comptée anonymement. Change cela