Programme Leçon 170 sur 246 · Module 15 : Compresser, reconstruire, générer (autoencodeurs et VAE)
Module 15 : Compresser, reconstruire, générer (autoencodeurs et VAE)

À quelle distance un code est du centre : la KL entre deux courbes en cloche

Pourquoi c'est important La traction 2 a besoin d'un nombre à minimiser : à quelle distance le nuage de chaque code N(mu, dispersion) est de la cible N(0, 1). Ce nombre, c'est la divergence KL que tu as rencontrée au module 2, maintenant pour des courbes en cloche.

Le module 2 a donné la formule exacte pour deux courbes en cloche : la KL entre N(m1, s1) et N(m2, s2) vaut

log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.

Avec la cible N(0, 1) (m2 = 0, s2 = 1) et la dispersion écrite logvar = log(s1²), elle devient 0.5 (mu² + exp(logvar) - 1 - logvar) par nombre de code. Additionne-la sur les nombres du code.

De tout petits nombres

mu = 0, logvar = 0 (dispersion 1) : 0.5 (0 + 1 - 1 - 0) = 0, le code correspond déjà à la cible. mu = 2, logvar = 0 : 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2 : 0.5 (0 + 0.135 - 1 + 2) = 0.568, donc un code trop sûr de lui paie aussi.

Vérifie-la sans la formule

La KL est une moyenne : la moyenne de log p(x) - log q(x) pour x tiré de p. Tirer beaucoup de x et faire la moyenne donne le même nombre, un peu bruité. Deux méthodes qui s'accordent, c'est comme ça que tu sais que le code est juste.

Mots et symboles de cette leçon
code (latent)
les quelques nombres que l'encodeur fabrique à partir d'une image
mu, logvar
le centre et le log de la dispersion au carré d'un nombre de code dans un VAE
À ton tour

Écris kl_normal(m1, s1, m2, s2) à partir de la formule, kl_to_standard(mu, logvar) (des tableaux NumPy de forme (N, z), qui renvoie la somme sur les nombres de code moyennée sur les N lignes), et kl_by_sampling(m1, s1, m2, s2, n) qui fait la moyenne de log p(x) - log q(x) sur n tirages de p.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.