Programma Les 169 van 246 · Module 15: Samendrukken, herbouwen, genereren (autoencoders en VAEs)
Module 15: Samendrukken, herbouwen, genereren (autoencoders en VAEs)

Twee trekken op elke code (Zie het)

Waarom dit ertoe doet De oplossing is om de codes de ruimte in een bekende vorm te laten vullen, zodat willekeurige punten uit die vorm landen waar de decoder heeft geleerd om te tekenen. Een variational autoencoder (VAE) doet dit met twee pulls op elke code.

Bekijk de scène eerst. Elk personage is één testcijfer, getekend waar de 2 code nummers het plaatsen, als het cijfer zelf; de 7s zijn in kleur zodat je één groep kunt volgen.

  • Trek 1, bouw goed op: codes van verschillende cijfers moeten uit elkaar blijven, anders kan de decoder ze niet onderscheiden.
  • Trek 2, blijf dicht bij het midden: elke code wordt naar het midden getrokken en een beetje wazig gemaakt (een kleine wolk, geen punt), zodat de codes de klokvorm N(0, 1) rond het midden vullen zonder gaten.

Sampling betekent dan: trek een punt uit N(0, 1) en decodeer het. Omdat de codes die regio vullen, landt het punt ergens waar de decoder dit weet.

In de VAE geeft de encoder twee dingen per code nummer: een centrum mu en een spreiding, geschreven als logvar (de log van de gekwadrateerde spreiding, wat elk getal kan zijn). De code is een trekking uit N(mu, spread). gen.train_vae traint er één; rebuild_weight en weight bepalen de kracht van elke trekking.

Voorspel eerst: als je pull 2 verwijdert, wat gebeurt er met de codes? Als je pull 1 verwijdert?

Woorden en symbolen in deze les
autoencoder
een encoder die een afbeelding samendrukt tot een paar getallen en een decoder die het herbouwt
code (latent)
de weinige getallen die de encoder maakt van één afbeelding
VAE
variational autoencoder: een autoencoder waarvan de codes worden getrokken om N(0, 1) te vullen, zodat willekeurige codes decoderen naar nieuwe afbeeldingen
mu, logvar
het centrum en de log van de gesquarede spreiding van een code nummer in een VAE
Jij bent aan de beurt

Zet guess voor beide verwijderingen op een van "spread out", "all at the centre" of "no change". Train daarna drie 2-number VAEs (een seconde of twee elk in de browser) en vul spread met de gemiddelde afstand van de test codes vanaf het centrum, en noise met de gemiddelde spread exp(logvar / 2), voor elk.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.