La perte du VAE, étape par étape (l'ELBO)
Pourquoi c'est important « Bien reconstruire plus rester près du centre » sonne comme deux objectifs collés ensemble. C'est un seul objectif : rendre les vrais chiffres aussi probables que possible sous le modèle. Voir pourquoi te dit ce que veut dire le nombre de la perte.
Un VAE est une histoire de la façon dont un chiffre est fabriqué : tirer un code z de N(0, 1), puis tirer chaque pixel avec la probabilité que donne le décodeur. Le meilleur modèle donne aux vrais chiffres la plus haute probabilité, log p(x). Calculer log p(x) exactement demande une moyenne sur tous les z possibles, ce qui est hors de portée.
L'astuce est une borne inférieure que tu peux calculer, l'ELBO (evidence lower bound, borne inférieure de l'évidence) :
log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))
Ici q(z | x) = N(mu, dispersion) est la supposition de l'encodeur sur les codes qui ont pu fabriquer x, et E[...] fait la moyenne sur des codes tirés de lui. Le premier terme est le score de reconstruction. Le second terme est la traction 2. L'écart entre log p(x) et l'ELBO mesure exactement à quel point la supposition de l'encodeur est fausse (une KL vers la vraie loi a posteriori), donc pousser l'ELBO vers le haut fait monter log p(x), ou ferme l'écart (améliore la supposition), ou les deux : l'ELBO seule ne peut pas te dire lequel.
L'entraînement minimise -ELBO, qui vaut perte de reconstruction + KL : exactement la perte de gen.train_vae.
Remplis les trous sur un petit exemple
Une image de 4 pixels x = [1, 0, 1, 1]. L'encodeur donne mu = [0.5, -1.0] et logvar = [0.0, -1.0]. Un tirage du code donne les probabilités du décodeur p = [0.9, 0.2, 0.7, 0.6] (la chance d'encre de chaque pixel).
Mots et symboles de cette leçon
- code (latent)
- les quelques nombres que l'encodeur fabrique à partir d'une image
- VAE
- autoencodeur variationnel : un autoencodeur dont les codes sont tirés pour remplir N(0, 1), pour que des codes au hasard se décodent en nouvelles images
- mu, logvar
- le centre et le log de la dispersion au carré d'un nombre de code dans un VAE
- ELBO
- borne inférieure de l'évidence : le score de reconstruction moins la KL ; entraîner un VAE la pousse vers le haut
Remplis chaque étape : log_p_x_given_z (la somme sur les pixels de x log p + (1 - x) log(1 - p)), kl (vers N(0, 1), sommée sur les deux nombres de code), elbo, et loss (ce que minimise l'entraînement). Puis affecte à gap_means la lettre qui dit ce que mesure l'écart entre log p(x) et l'ELBO.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.