À quelle distance un code est du centre : la KL entre deux courbes en cloche
Pourquoi c'est important La traction 2 a besoin d'un nombre à minimiser : à quelle distance le nuage de chaque code N(mu, dispersion) est de la cible N(0, 1). Ce nombre, c'est la divergence KL que tu as rencontrée au module 2, maintenant pour des courbes en cloche.
Le module 2 a donné la formule exacte pour deux courbes en cloche : la KL entre N(m1, s1) et N(m2, s2) vaut
log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.
Avec la cible N(0, 1) (m2 = 0, s2 = 1) et la dispersion écrite logvar = log(s1²), elle devient 0.5 (mu² + exp(logvar) - 1 - logvar) par nombre de code. Additionne-la sur les nombres du code.
De tout petits nombres
mu = 0, logvar = 0 (dispersion 1) : 0.5 (0 + 1 - 1 - 0) = 0, le code correspond déjà à la cible. mu = 2, logvar = 0 : 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2 : 0.5 (0 + 0.135 - 1 + 2) = 0.568, donc un code trop sûr de lui paie aussi.
Vérifie-la sans la formule
La KL est une moyenne : la moyenne de log p(x) - log q(x) pour x tiré de p. Tirer beaucoup de x et faire la moyenne donne le même nombre, un peu bruité. Deux méthodes qui s'accordent, c'est comme ça que tu sais que le code est juste.
Mots et symboles de cette leçon
- code (latent)
- les quelques nombres que l'encodeur fabrique à partir d'une image
- mu, logvar
- le centre et le log de la dispersion au carré d'un nombre de code dans un VAE
Écris kl_normal(m1, s1, m2, s2) à partir de la formule, kl_to_standard(mu, logvar) (des tableaux NumPy de forme (N, z), qui renvoie la somme sur les nombres de code moyennée sur les N lignes), et kl_by_sampling(m1, s1, m2, s2, n) qui fait la moyenne de log p(x) - log q(x) sur n tirages de p.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.