Programme Leçon 172 sur 246 · Module 15 : Compresser, reconstruire, générer (autoencodeurs et VAE)
Module 15 : Compresser, reconstruire, générer (autoencodeurs et VAE)

Un échantillonnage à travers lequel on peut entraîner

Pourquoi c'est important Le code est un tirage au hasard de N(mu, dispersion). La rétropropagation a besoin d'une pente de la perte vers mu et logvar, et « un nombre au hasard » n'a pas de pente. Une seule réécriture règle ça, et elle est utilisée bien au-delà des VAE.

Tire d'abord le hasard, d'une courbe en cloche fixe : eps tiré de N(0, 1). Puis construis le code à partir de lui :

code = mu + exp(logvar / 2) * eps

Le code a exactement la même répartition de valeurs qu'un tirage de N(mu, dispersion), mais c'est maintenant de l'arithmétique ordinaire sur mu et logvar, avec eps comme simple entrée. Les pentes sont simples : d code / d mu = 1, et d code / d logvar = 0.5 exp(logvar / 2) eps. C'est l'astuce de reparamétrisation.

De tout petits nombres

mu = 1, logvar = 0, eps = 0.5 : code = 1 + 1 × 0.5 = 1.5. Pente vers mu : 1. Pente vers logvar : 0.5 × 1 × 0.5 = 0.25.

Il te faut une nouvelle opération pour ça, exp. Le moteur du cours en a déjà une (E.exp) ; ici, tu construis la tienne, à la façon du module 4 : la valeur vers l'avant, et une règle de passe arrière qui multiplie le gradient qui arrive par la pente locale (pour exp, la pente est exp elle-même).

Dans le moteur du cours, une opération est un tenseur out = E.T(value, (parent,)) avec une règle out.back = lambda g: parent._acc(g * local_slope) : back reçoit le gradient qui arrive à out, et _acc ajoute un gradient dans le parent. E.GUIDE affiche les pièces du moteur.

Mots et symboles de cette leçon
code (latent)
les quelques nombres que l'encodeur fabrique à partir d'une image
VAE
autoencodeur variationnel : un autoencodeur dont les codes sont tirés pour remplir N(0, 1), pour que des codes au hasard se décodent en nouvelles images
mu, logvar
le centre et le log de la dispersion au carré d'un nombre de code dans un VAE
reparamétrisation
code = mu + exp(logvar / 2) × eps, avec eps tiré d'abord, pour que les gradients atteignent mu et logvar
À ton tour

Écris exp_op(a) comme une opération du moteur (renvoie un E.T avec des parents et une règle back). Écris reparam(mu, logvar, eps) avec exp_op, E.scale, E.mul et E.add. Puis vérifie les deux gradients par des poussées et affecte à max_gap la plus grande différence que tu trouves.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.