Kurrikulum Leson 175 van 246 · Module 15: Druk saam, bou oor, genereer (autoencoders en VAEs)
Module 15: Druk saam, bou oor, genereer (autoencoders en VAEs)

Poort: die VAE wat een syfer teken (AI af)

Waarom dit saak maak Hierdie fout het 'n naam, posterior collapse, en dit is algemeen genoeg dat elke generatiewe model wat jy later bou, 'n weergawe daarvan kan tref. Hier diagnoseer jy dit en los jy dit self op.

Gate-reëls: AI-tutor af. Draai die starter en kyk na wat die gebreekte VAE maak. Jy mag soveel variasies as wat jy wil met gen.train_vae(...) train en hulle beoordeel met gen.judge, active_units() en die rebuild error.

Drie instellings bestaan, elk met 'n rede om dit te probeer:

  • weight: die krag van pull 2 (die KL), 1 by verstaan.
  • warmup_steps: begin met gewig 0 en verhoog dit egalig tot weight oor hierdie hoeveelheid stappe (opleiding is 600 stappe).
  • free_bits: 'n vloer per kode-nommer. 'n Nommer waarvan die KL onder die vloer is, betaal die vloer en kry geen stoot na die sentrum nie, so die model kan dit bekostig om dit te gebruik.

Jy sal aanlyn lees dat die gewig opwarm die standaard oplossing is. Vind uit of dit hier is.

Die kontrole hertraineer jou regstelling op 'n nuwe seed en laat dit net deurgaan as al vier van die volgende geld: test rebuild error onder 0.035, ten minste 3 aktiewe kode-nommers, nuwe syfers met 'n nabyheid van hoogstens 1.33 en 'n verskeidenheid van ten minste 3.0.

Woorde en simbole in hierdie les
kode (latent)
die paar nommers wat die encoder uit een prentjie maak
VAE
variational autoencoder: 'n autoencoder waarvan die kodes getrek word om N(0, 1) te vul, sodat willekeur kodes ontkodeer na nuwe prente
mu, logvar
die middelpunt en die logaritme van die gekwadraat van die spreiding van 'n kode-nommer in 'n VAE
nabyeid, verskeidenheid
die kursusrechter: afstand tot die naaste werklike syfer, en bits van spreiding oor die tien syfers
posterior collapse
a VAE waarvan kodes almal N(0, 1) word en niks dra nie; dit teken een gemiddelde prent
Jou beurt

Stel diagnosis in op een letter en fix op 'n dict van instellings vir gen.train_vae wat die kollaps herstel.

AI af: geen tutor, wenke of uitgewerkte oplossing op hierdie een nie. Net jou eie denke.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.