De VAE loss, stap voor stap (de ELBO)
Waarom dit ertoe doet "Bouw goed op plus blijf dicht bij het centrum" klinkt als twee doelen die aan elkaar zijn geplakt. Het is één doel: maak de echte cijfers zo waarschijnlijk mogelijk onder het model. Zien waarom vertelt je wat het verliesgetal betekent.
A VAE is een verhaal over hoe een cijfer wordt gemaakt: trek een code z uit N(0, 1), en trek dan elke pixel met de waarschijnlijkheid die de decoder geeft. Het beste model geeft echte cijfers de hoogste waarschijnlijkheid, log p(x). Het exact berekenen van log p(x) vereist een gemiddelde over elke mogelijke z, wat onbereikbaar is.
De truc is een ondergrens die je kunt berekenen, de ELBO (evidence lower bound):
log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))
Hier q(z | x) = N(mu, spread) is de gok van de encoder over welke codes x hadden kunnen maken, en E[...] middelt over codes die daaruit getrokken zijn. Term één is de rebuild score. Term twee is pull 2. De kloof tussen log p(x) en de ELBO is precies hoe fout de gok van de encoder is (een KL naar de ware posterior), dus het omhoog duwen van de ELBO verhoogt log p(x), of verkleint de kloof (maakt de gok beter), of beide: de ELBO alleen kan je niet vertellen welke.
Training minimaliseert -ELBO, wat de rebuild loss + KL is: de exacte loss in gen.train_vae.
Vul de gaten in een klein voorbeeld in
A 4-pixel afbeelding x = [1, 0, 1, 1]. De encoder geeft mu = [0.5, -1.0] en logvar = [0.0, -1.0]. Eén trekking van de code geeft decoder kansberekeningen p = [0.9, 0.2, 0.7, 0.6] (de kans van inkt voor elk pixel).
Woorden en symbolen in deze les
- code (latent)
- de weinige getallen die de encoder maakt van één afbeelding
- VAE
- variational autoencoder: een autoencoder waarvan de codes worden getrokken om N(0, 1) te vullen, zodat willekeurige codes decoderen naar nieuwe afbeeldingen
- mu, logvar
- het centrum en de log van de gekwadrateerde spreiding van een code nummer in een VAE
- ELBO
- evidence lower bound: rebuild score minus KL; training een VAE duwt het omhoog
Vul elke stap in: log_p_x_given_z (som over pixels van x log p + (1 - x) log(1 - p)), kl (naar N(0, 1), gesommeerd over beide code nummers), elbo, en loss (wat training minimaliseert). Stel daarna gap_means in op de letter die zegt wat de kloof tussen log p(x) en de ELBO meet.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.