Programme Leçon 171 sur 246 · Module 15 : Compresser, reconstruire, générer (autoencodeurs et VAE)
Module 15 : Compresser, reconstruire, générer (autoencodeurs et VAE)

La perte du VAE, étape par étape (l'ELBO)

Pourquoi c'est important « Bien reconstruire plus rester près du centre » sonne comme deux objectifs collés ensemble. C'est un seul objectif : rendre les vrais chiffres aussi probables que possible sous le modèle. Voir pourquoi te dit ce que veut dire le nombre de la perte.

Un VAE est une histoire de la façon dont un chiffre est fabriqué : tirer un code z de N(0, 1), puis tirer chaque pixel avec la probabilité que donne le décodeur. Le meilleur modèle donne aux vrais chiffres la plus haute probabilité, log p(x). Calculer log p(x) exactement demande une moyenne sur tous les z possibles, ce qui est hors de portée.

L'astuce est une borne inférieure que tu peux calculer, l'ELBO (evidence lower bound, borne inférieure de l'évidence) :

log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))

Ici q(z | x) = N(mu, dispersion) est la supposition de l'encodeur sur les codes qui ont pu fabriquer x, et E[...] fait la moyenne sur des codes tirés de lui. Le premier terme est le score de reconstruction. Le second terme est la traction 2. L'écart entre log p(x) et l'ELBO mesure exactement à quel point la supposition de l'encodeur est fausse (une KL vers la vraie loi a posteriori), donc pousser l'ELBO vers le haut fait monter log p(x), ou ferme l'écart (améliore la supposition), ou les deux : l'ELBO seule ne peut pas te dire lequel.

L'entraînement minimise -ELBO, qui vaut perte de reconstruction + KL : exactement la perte de gen.train_vae.

Remplis les trous sur un petit exemple

Une image de 4 pixels x = [1, 0, 1, 1]. L'encodeur donne mu = [0.5, -1.0] et logvar = [0.0, -1.0]. Un tirage du code donne les probabilités du décodeur p = [0.9, 0.2, 0.7, 0.6] (la chance d'encre de chaque pixel).

Mots et symboles de cette leçon
code (latent)
les quelques nombres que l'encodeur fabrique à partir d'une image
VAE
autoencodeur variationnel : un autoencodeur dont les codes sont tirés pour remplir N(0, 1), pour que des codes au hasard se décodent en nouvelles images
mu, logvar
le centre et le log de la dispersion au carré d'un nombre de code dans un VAE
ELBO
borne inférieure de l'évidence : le score de reconstruction moins la KL ; entraîner un VAE la pousse vers le haut
À ton tour

Remplis chaque étape : log_p_x_given_z (la somme sur les pixels de x log p + (1 - x) log(1 - p)), kl (vers N(0, 1), sommée sur les deux nombres de code), elbo, et loss (ce que minimise l'entraînement). Puis affecte à gap_means la lettre qui dit ce que mesure l'écart entre log p(x) et l'ELBO.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.