Un échantillonnage à travers lequel on peut entraîner
Pourquoi c'est important Le code est un tirage au hasard de N(mu, dispersion). La rétropropagation a besoin d'une pente de la perte vers mu et logvar, et « un nombre au hasard » n'a pas de pente. Une seule réécriture règle ça, et elle est utilisée bien au-delà des VAE.
Tire d'abord le hasard, d'une courbe en cloche fixe : eps tiré de N(0, 1). Puis construis le code à partir de lui :
code = mu + exp(logvar / 2) * eps
Le code a exactement la même répartition de valeurs qu'un tirage de N(mu, dispersion), mais c'est maintenant de l'arithmétique ordinaire sur mu et logvar, avec eps comme simple entrée. Les pentes sont simples : d code / d mu = 1, et d code / d logvar = 0.5 exp(logvar / 2) eps. C'est l'astuce de reparamétrisation.
De tout petits nombres
mu = 1, logvar = 0, eps = 0.5 : code = 1 + 1 × 0.5 = 1.5. Pente vers mu : 1. Pente vers logvar : 0.5 × 1 × 0.5 = 0.25.
Il te faut une nouvelle opération pour ça, exp. Le moteur du cours en a déjà une (E.exp) ; ici, tu construis la tienne, à la façon du module 4 : la valeur vers l'avant, et une règle de passe arrière qui multiplie le gradient qui arrive par la pente locale (pour exp, la pente est exp elle-même).
Dans le moteur du cours, une opération est un tenseur out = E.T(value, (parent,)) avec une règle out.back = lambda g: parent._acc(g * local_slope) : back reçoit le gradient qui arrive à out, et _acc ajoute un gradient dans le parent. E.GUIDE affiche les pièces du moteur.
Mots et symboles de cette leçon
- code (latent)
- les quelques nombres que l'encodeur fabrique à partir d'une image
- VAE
- autoencodeur variationnel : un autoencodeur dont les codes sont tirés pour remplir N(0, 1), pour que des codes au hasard se décodent en nouvelles images
- mu, logvar
- le centre et le log de la dispersion au carré d'un nombre de code dans un VAE
- reparamétrisation
- code = mu + exp(logvar / 2) × eps, avec eps tiré d'abord, pour que les gradients atteignent mu et logvar
Écris exp_op(a) comme une opération du moteur (renvoie un E.T avec des parents et une règle back). Écris reparam(mu, logvar, eps) avec exp_op, E.scale, E.mul et E.add. Puis vérifie les deux gradients par des poussées et affecte à max_gap la plus grande différence que tu trouves.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.