Programma Les 173 van 246 · Module 15: Samendrukken, herbouwen, genereren (autoencoders en VAEs)
Module 15: Samendrukken, herbouwen, genereren (autoencoders en VAEs)

Je VAE maakt nieuwe cijfers

Waarom dit ertoe doet Elk stuk is klaar: de mu en logvar van de encoder, de truc om te samplen, de rebuild loss en de KL. Zet ze in één training step en je hebt een model dat cijfers maakt die niemand tekende.

Eén stap van training, in woorden:

  1. Codeer een batch: mu, logvar = model.encode(E.T(x)).
  2. Trek eps uit N(0, 1) met de vorm van mu, en maak de code met jouw reparameterisatie.
  3. Decode de code naar pixel scores: model.decode_logits(code).
  4. Loss = E.bce_with_logits(scores, x) + E.kl_to_standard(mu, logvar) (de versie van je KL door de house engine).
  5. Achteruit, dan opt.step().

Beoordeel het dan met dezelfde rechter als voorheen: de nabijheid en variëteit van 500 nieuwe cijfers getrokken uit N(0, 1). De rebuild error zal slechter zijn dan die van de autoencoder (ongeveer 0.03 tegenover 0.008). Dat is de prijs van pull 2, en het koopt een code space waaruit je kunt samplen.

Woorden en symbolen in deze les
autoencoder
een encoder die een afbeelding samenperst tot een paar getallen en een decoder die deze herbouwt
code (latent)
de weinige getallen die de encoder maakt van één afbeelding
VAE
variational autoencoder: een autoencoder waarvan de codes worden getrokken om N(0, 1) te vullen, zodat willekeurige codes decoderen naar nieuwe afbeeldingen
mu, logvar
het centrum en de log van de gekwadrateerde spreiding van een code nummer in een VAE
reparameterisatie
code = mu + exp(logvar / 2) x eps, met eps eerst getrokken, zodat gradiënten mu en logvar
bereiken
nabijheid, variëteit
de cursusrechter: afstand tot het dichtstbijzijnde echte cijfer, en bits van spreiding over de tien cijfers
Jij bent aan de beurt

Schrijf de body van de training loop (600 stappen van 256 afbeeldingen). Sla door met: test rebuild error onder 0.035, nieuwe cijfers met closeness maximaal 1.30 en variety minimaal 3.0, en ten minste 3 actieve code nummers. Gebruik je eigen loop: gen.train_vae is hier verboden.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.