Compresser et reconstruire (autoencodeurs)
Pourquoi c'est important Chaque réseau jusqu'ici transformait une image en étiquette. Ce module transforme des images en nouvelles images. La première étape est un réseau qui compresse une image en quelques nombres et la reconstruit à partir d'eux. Ces quelques nombres sont l'endroit d'où viendront les nouvelles images.
Un autoencodeur, ce sont deux réseaux dos à dos. L'encodeur compresse un chiffre de 64 pixels en 16 nombres, son code. Le décodeur reconstruit 64 pixels à partir de ces 16 nombres. L'entraînement ne demande qu'une chose : l'image reconstruite doit correspondre à l'originale.
Personne ne lui dit ce que doivent vouloir dire les 16 nombres. Il doit trouver tout seul une courte description d'un chiffre, parce que 16 nombres ne peuvent pas simplement recopier 64 pixels.
De tout petits nombres
Un chiffre de 64 pixels devient 16 nombres : une compression de 4 pour 1. Si les pixels reconstruits sont faux de 0.09 en moyenne, l'erreur au carré par pixel vaut environ 0.008. C'est la taille d'erreur que tu atteindras.
Comment la perte est mesurée
Chaque pixel est un nombre de 0 (vide) à 1 (encre pleine), donc la dernière couche du décodeur donne un score par pixel et la sigmoïde le transforme en 0..1. La perte est l'entropie croisée binaire du module 3, sommée sur les 64 pixels et moyennée sur le lot. Le moteur du cours l'a maintenant sous la forme E.bce_with_logits(scores, pictures) : elle prend les scores avant la sigmoïde, donc elle ne prend jamais le log de 0.
La sortie affiche aussi des images en texte : gen.show(pictures) affiche chaque chiffre de 8x8 en nuances du vide à l'encre pleine.
Mots et symboles de cette leçon
- autoencodeur
- un encodeur qui compresse une image en quelques nombres et un décodeur qui la reconstruit
- code (latent)
- les quelques nombres que l'encodeur fabrique à partir d'une image
- mu, logvar
- le centre et le log de la dispersion au carré d'un nombre de code dans un VAE
Écris encode(x) : une couche dense avec ReLU (P['e1']), puis une couche dense vers 16 nombres (P['e2']). Écris decode(code) de la même façon avec P['d1'], ReLU et P['d2'], en renvoyant les 64 scores avant la sigmoïde. La boucle d'entraînement est écrite pour toi. Atteins une erreur de reconstruction de test inférieure à 0.012 par pixel.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.