Programma Les 175 van 246 · Module 15: Samendrukken, herbouwen, genereren (autoencoders en VAEs)
Module 15: Samendrukken, herbouwen, genereren (autoencoders en VAEs)

Gate: de VAE die één cijfer tekent (AI uit)

Waarom dit ertoe doet Deze fout heeft een naam, posterior collapse, en het komt vaak genoeg voor dat elk generatief model dat je later bouwt er een versie van kan tegenkomen. Hier diagnoseer je het en los je het alleen op.

Gate regels: AI tutor uit. Draai de starter en kijk wat de kapotte VAE maakt. Je mag zoveel variaties als je wilt trainen met gen.train_vae(...) en ze beoordelen met gen.judge, active_units() en de rebuild error.

Er drie instellingen bestaan, elk met een reden om het te proberen:

  • weight: de kracht van pull 2 (de KL), standaard 1.
  • warmup_steps: begin met gewicht 0 en verhoog het gelijkmatig naar weight over deze vele stappen (training is 600 stappen).
  • free_bits: een vloer per code nummer. Een nummer waarvan de KL onder de vloer ligt betaalt de vloer en krijgt geen duw naar het centrum, zodat het model het kan gebruiken.

Je zult online lezen dat het opwarmen van het gewicht de standaard oplossing is. Ontdek of dit hier ook zo is.

De check traint je fix opnieuw op een nieuwe seed en slaagt alleen als alle vier worden gehaald: test rebuild error onder 0.035, ten minste 3 actieve code nummers, nieuwe cijfers met closeness maximaal 1.33 en variety ten minste 3.0.

Woorden en symbolen in deze les
code (latent)
de weinige getallen die de encoder maakt van één afbeelding
VAE
variational autoencoder: een autoencoder waarvan de codes worden getrokken om N(0, 1) te vullen, zodat willekeurige codes decoderen naar nieuwe afbeeldingen
mu, logvar
het centrum en de log van de gekwadrateerde spreiding van een code nummer in een VAE
nabijheid, variëteit
de cursusrechter: afstand tot het dichtstbijzijnde echte cijfer, en bits van spreiding over de tien cijfers
posterior collapse
a VAE waarvan alle codes N(0, 1) worden en niets dragen; het tekent één gemiddeld plaatje
Jij bent aan de beurt

Zet diagnosis op één letter en fix op een dictionary van instellingen voor gen.train_vae die de ineenstorting herstelt.

AI uit: geen tutor, hints of uitgewerkte oplossing voor deze. Alleen je eigen denkwerk.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.