Programme Leçon 175 sur 246 · Module 15 : Compresser, reconstruire, générer (autoencodeurs et VAE)
Module 15 : Compresser, reconstruire, générer (autoencodeurs et VAE)

Examen de passage : le VAE qui dessine un seul chiffre (IA éteinte)

Pourquoi c'est important Cette panne a un nom, l'effondrement de la loi a posteriori, et elle est assez courante pour que chaque modèle génératif que tu construiras plus tard puisse en rencontrer une version. Ici, tu la diagnostiques et la répares seul.

Règles de l'examen : tuteur IA éteint. Exécute le code de départ et regarde ce que fabrique le VAE cassé. Tu peux entraîner autant de variantes que tu veux avec gen.train_vae(...) et les juger avec gen.judge, active_units() et l'erreur de reconstruction.

Trois réglages existent, chacun avec une raison de l'essayer :

  • weight : la force de la traction 2 (la KL), 1 par défaut.
  • warmup_steps : commencer avec un poids de 0 et le monter régulièrement jusqu'à weight sur ce nombre de pas (l'entraînement fait 600 pas).
  • free_bits : un plancher par nombre de code. Un nombre dont la KL est sous le plancher paie le plancher et ne reçoit aucune poussée vers le centre, donc le modèle peut se permettre de l'utiliser.

Tu liras en ligne que monter progressivement le poids est la correction standard. Découvre si c'est le cas ici.

La vérification réentraîne ta correction sur une nouvelle graine et ne la fait passer que si les quatre conditions tiennent : une erreur de reconstruction de test inférieure à 0.035, au moins 3 nombres de code actifs, de nouveaux chiffres avec une proximité d'au plus 1.33 et une variété d'au moins 3.0.

Mots et symboles de cette leçon
code (latent)
les quelques nombres que l'encodeur fabrique à partir d'une image
VAE
autoencodeur variationnel : un autoencodeur dont les codes sont tirés pour remplir N(0, 1), pour que des codes au hasard se décodent en nouvelles images
mu, logvar
le centre et le log de la dispersion au carré d'un nombre de code dans un VAE
proximité, variété
le juge du cours : la distance au vrai chiffre le plus proche, et les bits de répartition sur les dix chiffres
effondrement de la loi a posteriori
un VAE dont les codes deviennent tous N(0, 1) et ne portent rien ; il dessine une seule image moyenne
À ton tour

Affecte à diagnosis une seule lettre et à fix un dict de réglages pour gen.train_vae qui guérit l'effondrement.

IA désactivée : pas de tuteur, d'indices ou de solution détaillée pour celui-ci. Ta propre réflexion uniquement.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.