Programme Leçon 167 sur 246 · Module 15 : Compresser, reconstruire, générer (autoencodeurs et VAE)
Module 15 : Compresser, reconstruire, générer (autoencodeurs et VAE)

Compresser et reconstruire (autoencodeurs)

Pourquoi c'est important Chaque réseau jusqu'ici transformait une image en étiquette. Ce module transforme des images en nouvelles images. La première étape est un réseau qui compresse une image en quelques nombres et la reconstruit à partir d'eux. Ces quelques nombres sont l'endroit d'où viendront les nouvelles images.

Un autoencodeur, ce sont deux réseaux dos à dos. L'encodeur compresse un chiffre de 64 pixels en 16 nombres, son code. Le décodeur reconstruit 64 pixels à partir de ces 16 nombres. L'entraînement ne demande qu'une chose : l'image reconstruite doit correspondre à l'originale.

Personne ne lui dit ce que doivent vouloir dire les 16 nombres. Il doit trouver tout seul une courte description d'un chiffre, parce que 16 nombres ne peuvent pas simplement recopier 64 pixels.

De tout petits nombres

Un chiffre de 64 pixels devient 16 nombres : une compression de 4 pour 1. Si les pixels reconstruits sont faux de 0.09 en moyenne, l'erreur au carré par pixel vaut environ 0.008. C'est la taille d'erreur que tu atteindras.

Comment la perte est mesurée

Chaque pixel est un nombre de 0 (vide) à 1 (encre pleine), donc la dernière couche du décodeur donne un score par pixel et la sigmoïde le transforme en 0..1. La perte est l'entropie croisée binaire du module 3, sommée sur les 64 pixels et moyennée sur le lot. Le moteur du cours l'a maintenant sous la forme E.bce_with_logits(scores, pictures) : elle prend les scores avant la sigmoïde, donc elle ne prend jamais le log de 0.

La sortie affiche aussi des images en texte : gen.show(pictures) affiche chaque chiffre de 8x8 en nuances du vide à l'encre pleine.

Mots et symboles de cette leçon
autoencodeur
un encodeur qui compresse une image en quelques nombres et un décodeur qui la reconstruit
code (latent)
les quelques nombres que l'encodeur fabrique à partir d'une image
mu, logvar
le centre et le log de la dispersion au carré d'un nombre de code dans un VAE
À ton tour

Écris encode(x) : une couche dense avec ReLU (P['e1']), puis une couche dense vers 16 nombres (P['e2']). Écris decode(code) de la même façon avec P['d1'], ReLU et P['d2'], en renvoyant les 64 scores avant la sigmoïde. La boucle d'entraînement est écrite pour toi. Atteins une erreur de reconstruction de test inférieure à 0.012 par pixel.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.