Die VAE-verlies, stap vir stap (die ELBO)
Waarom dit saak maak "Bou goed oor plus bly naby die sentrum" klink soos twee doelwitte wat aanmekeer is. Dit is een doel: maak die werklike syfers so waarskynlik as moontlik onder die model. Om te sien waarom vertel jou wat die loss number beteken.
A VAE is 'n storie van hoe 'n syfer gemaak word: teken 'n kode z uit N(0, 1), dan teken elke pixel met die waarskynlikheid wat die decoder gee. Die beste model gee werklike syfers die hoogste waarskynlikheid, log p(x). Om log p(x) presies te bereken, het 'n gemiddelde oor elke moontlike z nodig, wat onbereikbaar is.
Die truc is 'n onderste grens wat jy kan bereken, die ELBO (evidence lower bound):
log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))
Hier is q(z | x) = N(mu, spread) die enkoder se raai van watter kodes x kon gemaak het, en E[...] gemiddeld oor kodes wat daaruit getrek word. Term een is die herbou-telling. Term twee is pull 2. Die gaping tussen log p(x) en die ELBO is presies hoe verkeerd die enkoder se raai is ( 'n KL na die ware posterior), so om die ELBO op te stoot verhoog log p(x), of sluit die gaping (maak die raai beter), of albei: die ELBO alleen kan nie vir jou sê watter een nie.
Training verminder -ELBO, wat rebuild loss + KL is: die selfsverlies in gen.train_vae.
Vul die gaping op 'n klein voorbeeld
A 4-pixel prent x = [1, 0, 1, 1]. Die enkoder gee mu = [0.5, -1.0] en logvar = [0.0, -1.0]. Een tekening van die kode gee dekoder-waarskynlikhede p = [0.9, 0.2, 0.7, 0.6] (elke pixel se kans op ink).
Woorde en simbole in hierdie les
- kode (latent)
- die paar nommers wat die encoder uit een prentjie maak
- VAE
- variational autoencoder: 'n autoencoder waarvan die kodes getrek word om N(0, 1) te vul, sodat willekeur kodes ontkodeer na nuwe prente
- mu, logvar
- die middelpunt en die log van die gekwadraat van die spreiding van 'n kode-nommer in 'n VAE
- ELBO
- evidence ondergrens: bou score herbou minus KL; die opleiding van 'n VAE stoot dit op
Vul elke stap in: log_p_x_given_z (som oor pixels van x log p + (1 - x) log(1 - p)), kl (na N(0, 1), gesommeer oor albei kodegetalle), elbo, en loss (wat opleiding minimaliseer). Stel dan gap_means op die letter wat sê wat die gaping tussen log p(x) en die ELBO meet.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.