À quel point deux suppositions diffèrent (divergence KL)
Pourquoi c'est important Plus tard, tu pousseras une distribution vers une autre : un générateur vers les vraies données, un petit modèle vers un grand. La divergence KL mesure l'écart.
De tout petits nombres
La vérité P = [0.5, 0.5], une supposition Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. Échange-les : KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. Des nombres différents : la KL n'est pas symétrique, donc l'ordre compte.
Divergence KL : la surprise en plus que tu subis, en moyenne, en utilisant Q quand la vérité est P. Elle ne vaut 0 que quand les deux sont identiques, et n'est jamais négative.
Pour deux courbes en cloche, il existe une formule exacte, que le module 15 utilise pour ses modèles génératifs : la KL entre N(m1, s1) et N(m2, s2) vaut log(s2/s1) + (s1 au carré + (m1 - m2) au carré) / (2 s2 au carré) - 1/2.
Récap Une mesure d'écart, nulle quand c'est égal, et l'ordre compte.
Mots et symboles de cette leçon
- KL(P || Q)
- à quel point deux distributions diffèrent ; nulle seulement quand elles correspondent ; l'ordre compte
Écris kl(p, q) pour deux probabilités données sous forme de listes ou de tableaux (les tests passent de simples listes, donc transforme-les d'abord en tableaux), et kl_gauss(m1, s1, m2, s2) avec la formule ci-dessus.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.