Kurrikulum Leson 171 van 246 · Module 15: Druk saam, bou oor, genereer (autoencoders en VAEs)
Module 15: Druk saam, bou oor, genereer (autoencoders en VAEs)

Die VAE-verlies, stap vir stap (die ELBO)

Waarom dit saak maak "Bou goed oor plus bly naby die sentrum" klink soos twee doelwitte wat aanmekeer is. Dit is een doel: maak die werklike syfers so waarskynlik as moontlik onder die model. Om te sien waarom vertel jou wat die loss number beteken.

A VAE is 'n storie van hoe 'n syfer gemaak word: teken 'n kode z uit N(0, 1), dan teken elke pixel met die waarskynlikheid wat die decoder gee. Die beste model gee werklike syfers die hoogste waarskynlikheid, log p(x). Om log p(x) presies te bereken, het 'n gemiddelde oor elke moontlike z nodig, wat onbereikbaar is.

Die truc is 'n onderste grens wat jy kan bereken, die ELBO (evidence lower bound):

log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))

Hier is q(z | x) = N(mu, spread) die enkoder se raai van watter kodes x kon gemaak het, en E[...] gemiddeld oor kodes wat daaruit getrek word. Term een is die herbou-telling. Term twee is pull 2. Die gaping tussen log p(x) en die ELBO is presies hoe verkeerd die enkoder se raai is ( 'n KL na die ware posterior), so om die ELBO op te stoot verhoog log p(x), of sluit die gaping (maak die raai beter), of albei: die ELBO alleen kan nie vir jou sê watter een nie.

Training verminder -ELBO, wat rebuild loss + KL is: die selfsverlies in gen.train_vae.

Vul die gaping op 'n klein voorbeeld

A 4-pixel prent x = [1, 0, 1, 1]. Die enkoder gee mu = [0.5, -1.0] en logvar = [0.0, -1.0]. Een tekening van die kode gee dekoder-waarskynlikhede p = [0.9, 0.2, 0.7, 0.6] (elke pixel se kans op ink).

Woorde en simbole in hierdie les
kode (latent)
die paar nommers wat die encoder uit een prentjie maak
VAE
variational autoencoder: 'n autoencoder waarvan die kodes getrek word om N(0, 1) te vul, sodat willekeur kodes ontkodeer na nuwe prente
mu, logvar
die middelpunt en die log van die gekwadraat van die spreiding van 'n kode-nommer in 'n VAE
ELBO
evidence ondergrens: bou score herbou minus KL; die opleiding van 'n VAE stoot dit op
Jou beurt

Vul elke stap in: log_p_x_given_z (som oor pixels van x log p + (1 - x) log(1 - p)), kl (na N(0, 1), gesommeer oor albei kodegetalle), elbo, en loss (wat opleiding minimaliseer). Stel dan gap_means op die letter wat sê wat die gaping tussen log p(x) en die ELBO meet.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.