Gate: de VAE die één cijfer tekent (AI uit)
Waarom dit ertoe doet Deze fout heeft een naam, posterior collapse, en het komt vaak genoeg voor dat elk generatief model dat je later bouwt er een versie van kan tegenkomen. Hier diagnoseer je het en los je het alleen op.
Gate regels: AI tutor uit. Draai de starter en kijk wat de kapotte VAE maakt. Je mag zoveel variaties als je wilt trainen met gen.train_vae(...) en ze beoordelen met gen.judge, active_units() en de rebuild error.
Er drie instellingen bestaan, elk met een reden om het te proberen:
weight: de kracht van pull 2 (de KL), standaard 1.warmup_steps: begin met gewicht 0 en verhoog het gelijkmatig naarweightover deze vele stappen (training is 600 stappen).free_bits: een vloer per code nummer. Een nummer waarvan de KL onder de vloer ligt betaalt de vloer en krijgt geen duw naar het centrum, zodat het model het kan gebruiken.
Je zult online lezen dat het opwarmen van het gewicht de standaard oplossing is. Ontdek of dit hier ook zo is.
De check traint je fix opnieuw op een nieuwe seed en slaagt alleen als alle vier worden gehaald: test rebuild error onder 0.035, ten minste 3 actieve code nummers, nieuwe cijfers met closeness maximaal 1.33 en variety ten minste 3.0.
Woorden en symbolen in deze les
- code (latent)
- de weinige getallen die de encoder maakt van één afbeelding
- VAE
- variational autoencoder: een autoencoder waarvan de codes worden getrokken om N(0, 1) te vullen, zodat willekeurige codes decoderen naar nieuwe afbeeldingen
- mu, logvar
- het centrum en de log van de gekwadrateerde spreiding van een code nummer in een VAE
- nabijheid, variëteit
- de cursusrechter: afstand tot het dichtstbijzijnde echte cijfer, en bits van spreiding over de tien cijfers
- posterior collapse
- a VAE waarvan alle codes N(0, 1) worden en niets dragen; het tekent één gemiddeld plaatje
Zet diagnosis op één letter en fix op een dictionary van instellingen voor gen.train_vae die de ineenstorting herstelt.
AI uit: geen tutor, hints of uitgewerkte oplossing voor deze. Alleen je eigen denkwerk.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.