Programme Leçon 37 sur 246 · Module 2 : Maths et probabilités, juste ce qu'il faut
Module 2 : Maths et probabilités, juste ce qu'il faut

À quel point deux suppositions diffèrent (divergence KL)

Pourquoi c'est important Plus tard, tu pousseras une distribution vers une autre : un générateur vers les vraies données, un petit modèle vers un grand. La divergence KL mesure l'écart.

De tout petits nombres

La vérité P = [0.5, 0.5], une supposition Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. Échange-les : KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. Des nombres différents : la KL n'est pas symétrique, donc l'ordre compte.

Divergence KL : la surprise en plus que tu subis, en moyenne, en utilisant Q quand la vérité est P. Elle ne vaut 0 que quand les deux sont identiques, et n'est jamais négative.

Pour deux courbes en cloche, il existe une formule exacte, que le module 15 utilise pour ses modèles génératifs : la KL entre N(m1, s1) et N(m2, s2) vaut log(s2/s1) + (s1 au carré + (m1 - m2) au carré) / (2 s2 au carré) - 1/2.

Récap Une mesure d'écart, nulle quand c'est égal, et l'ordre compte.

Mots et symboles de cette leçon
KL(P || Q)
à quel point deux distributions diffèrent ; nulle seulement quand elles correspondent ; l'ordre compte
À ton tour

Écris kl(p, q) pour deux probabilités données sous forme de listes ou de tableaux (les tests passent de simples listes, donc transforme-les d'abord en tableaux), et kl_gauss(m1, s1, m2, s2) avec la formule ci-dessus.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.