Hoe ver een code van het midden ligt: KL tussen twee klokkurven
Waarom dit ertoe doet Pull 2 heeft een getal nodig om te minimaliseren: hoe ver de cloud N(mu, spread) van elke code is van de doel N(0, 1). Dat getal is de KL divergentie die je ontmoette in Module 2, nu voor klokcurves.
Module 2 gaf de exacte formule voor twee klokcurves: KL tussen N(m1, s1) en N(m2, s2) is
log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.
Met de doelwaarde N(0, 1) (m2 = 0, s2 = 1) en de spreiding geschreven als logvar = log(s1²), wordt het 0.5 (mu² + exp(logvar) - 1 - logvar) per codenummer. Tel het op over de nummers van de code.
Tintalige getallen
mu = 0, logvar = 0 (spread 1): 0.5 (0 + 1 - 1 - 0) = 0, de code komt al overeen met het doel. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, dus een code die te zeker van zichzelf is betaalt ook.
Controleer het zonder de formule
KL is een gemiddelde: het gemiddelde van log p(x) - log q(x) voor x getrokken uit p. Veel x trekken en middelen geeft hetzelfde getal, een beetje ruis. Twee methoden die overeenstemmen is hoe je weet dat de code juist is.
Woorden en symbolen in deze les
- code (latent)
- de weinige getallen die de encoder maakt van één afbeelding
- mu, logvar
- het centrum en de log van de gekwadrateerde spreiding van een code nummer in een VAE
Schrijf kl_normal(m1, s1, m2, s2) uit de formule, kl_to_standard(mu, logvar) (NumPy arrays van vorm (N, z), die de som over code nummers retourneren gemiddeld over de N rijen), en kl_by_sampling(m1, s1, m2, s2, n) dat log p(x) - log q(x) gemiddeld neemt over n trekkingen uit p.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.