Programma Les 170 van 246 · Module 15: Samendrukken, herbouwen, genereren (autoencoders en VAEs)
Module 15: Samendrukken, herbouwen, genereren (autoencoders en VAEs)

Hoe ver een code van het midden ligt: KL tussen twee klokkurven

Waarom dit ertoe doet Pull 2 heeft een getal nodig om te minimaliseren: hoe ver de cloud N(mu, spread) van elke code is van de doel N(0, 1). Dat getal is de KL divergentie die je ontmoette in Module 2, nu voor klokcurves.

Module 2 gaf de exacte formule voor twee klokcurves: KL tussen N(m1, s1) en N(m2, s2) is

log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.

Met de doelwaarde N(0, 1) (m2 = 0, s2 = 1) en de spreiding geschreven als logvar = log(s1²), wordt het 0.5 (mu² + exp(logvar) - 1 - logvar) per codenummer. Tel het op over de nummers van de code.

Tintalige getallen

mu = 0, logvar = 0 (spread 1): 0.5 (0 + 1 - 1 - 0) = 0, de code komt al overeen met het doel. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, dus een code die te zeker van zichzelf is betaalt ook.

Controleer het zonder de formule

KL is een gemiddelde: het gemiddelde van log p(x) - log q(x) voor x getrokken uit p. Veel x trekken en middelen geeft hetzelfde getal, een beetje ruis. Twee methoden die overeenstemmen is hoe je weet dat de code juist is.

Woorden en symbolen in deze les
code (latent)
de weinige getallen die de encoder maakt van één afbeelding
mu, logvar
het centrum en de log van de gekwadrateerde spreiding van een code nummer in een VAE
Jij bent aan de beurt

Schrijf kl_normal(m1, s1, m2, s2) uit de formule, kl_to_standard(mu, logvar) (NumPy arrays van vorm (N, z), die de som over code nummers retourneren gemiddeld over de N rijen), en kl_by_sampling(m1, s1, m2, s2, n) dat log p(x) - log q(x) gemiddeld neemt over n trekkingen uit p.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.