Kurrikulum Leson 170 van 246 · Module 15: Druk saam, bou oor, genereer (autoencoders en VAEs)
Module 15: Druk saam, bou oor, genereer (autoencoders en VAEs)

Hoe ver 'n kode van die middel is: KL tussen twee klokkurwes

Waarom dit saak maak Pull 2 het 'n getal nodig om te minimaliseer: hoe ver elke kode se wolk N(mu, spread) van die teiken N(0, 1) af is. Daardie getal is die KL divergence wat jy in Module 2 ontmoet het, nou vir klokkurwes.

Module 2 het die presiese formule vir twee klokkurwes gee: KL tussen N(m1, s1) en N(m2, s2) is

log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.

Met die teiken N(0, 1) (m2 = 0, s2 = 1) en die spreiding geskryf as logvar = log(s1²), word dit 0.5 (mu² + exp(logvar) - 1 - logvar) per kode-nommer. Tel dit bymekaar oor die kode se nommers.

Klein getalle

mu = 0, logvar = 0 (spread 1): 0.5 (0 + 1 - 1 - 0) = 0, die kode pas reeds by die doelwit. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, so 'n kode wat te seker van homself is, betaal ook.

Gaan dit sonder die formule nagaan

KL is 'n gemiddelde: die gemiddelde van log p(x) - log q(x) vir x getrek uit p. As jy baie x trek en gemiddelde neem, gee dit dieselfde getal, net 'n bietjie raserig. As twee metodes ooreenstem, weet jy die kode is reg.

Woorde en simbole in hierdie les
kode (latent)
die paar nommers wat die encoder uit een prentjie maak
mu, logvar
die middelpunt en die log van die gekwadraat van die spreiding van 'n kode-nommer in 'n VAE
Jou beurt

Skryf kl_normal(m1, s1, m2, s2) vanuit die formule, kl_to_standard(mu, logvar) (NumPy arrays van vorm (N, z), wat die som oor kode-nommers oor die N rye gemiddeld bereken), en kl_by_sampling(m1, s1, m2, s2, n) wat log p(x) - log q(x) oor n trekke uit p gemiddeld bereken.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.