Programme Leçon 173 sur 246 · Module 15 : Compresser, reconstruire, générer (autoencodeurs et VAE)
Module 15 : Compresser, reconstruire, générer (autoencodeurs et VAE)

Ton VAE fabrique de nouveaux chiffres

Pourquoi c'est important Chaque pièce est prête : le mu et le logvar de l'encodeur, l'astuce pour échantillonner à travers, la perte de reconstruction et la KL. Mets-les dans une seule étape d'entraînement et tu as un modèle qui fabrique des chiffres que personne n'a dessinés.

Une étape d'entraînement, en mots :

  1. Encode un lot : mu, logvar = model.encode(E.T(x)).
  2. Tire eps de N(0, 1) avec la forme de mu, et fabrique le code avec ta reparamétrisation.
  3. Décode le code en scores de pixels : model.decode_logits(code).
  4. Perte = E.bce_with_logits(scores, x) + E.kl_to_standard(mu, logvar) (la version du moteur du cours de ta KL).
  5. Passe arrière, puis opt.step().

Puis juge-le avec le même juge qu'avant : la proximité et la variété de 500 nouveaux chiffres tirés de N(0, 1). L'erreur de reconstruction sera moins bonne que celle de l'autoencodeur (environ 0.03 contre 0.008). C'est le prix de la traction 2, et il achète un espace de codes dans lequel tu peux échantillonner.

Mots et symboles de cette leçon
autoencodeur
un encodeur qui compresse une image en quelques nombres et un décodeur qui la reconstruit
code (latent)
les quelques nombres que l'encodeur fabrique à partir d'une image
VAE
autoencodeur variationnel : un autoencodeur dont les codes sont tirés pour remplir N(0, 1), pour que des codes au hasard se décodent en nouvelles images
mu, logvar
le centre et le log de la dispersion au carré d'un nombre de code dans un VAE
reparamétrisation
code = mu + exp(logvar / 2) × eps, avec eps tiré d'abord, pour que les gradients atteignent mu et logvar
proximité, variété
le juge du cours : la distance au vrai chiffre le plus proche, et les bits de répartition sur les dix chiffres
À ton tour

Écris le corps de la boucle d'entraînement (600 pas de 256 images). Tu réussis avec : une erreur de reconstruction de test inférieure à 0.035, de nouveaux chiffres avec une proximité d'au plus 1.30 et une variété d'au moins 3.0, et au moins 3 nombres de code actifs. Utilise ta propre boucle : gen.train_vae est interdit ici.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.