Kurrikulum Leson 172 van 246 · Module 15: Druk saam, bou oor, genereer (autoencoders en VAEs)
Module 15: Druk saam, bou oor, genereer (autoencoders en VAEs)

Monstervatting wat jy kan aanleer

Waarom dit saak maak Die kode is 'n willekeurtrek uit N(mu, spread). Backprop het 'n helling nodig van die loss terug na mu en logvar, en "a random number" het geen helling nie. Een herskryfding regtig dit, en dit word ver buite VAEs gebruik.

Teken die willeke eerste, vanaf 'n vaste klokkurwe: eps van N(0, 1). Bou dan die kode daaruit:

code = mu + exp(logvar / 2) * eps

Die kode het presies dieselfde spreiding van waardes as 'n trek uit N(mu, spread), maar nou is dit gewone rekenkunde op mu en logvar, met eps as 'n eenvoudige inset. Die hellings is eenvoudig: d code / d mu = 1, en d code / d logvar = 0.5 exp(logvar / 2) eps. Dit is die reparameterisation trick.

Klein getalle

mu = 1, logvar = 0, eps = 0.5: code = 1 + 1 x 0.5 = 1.5. Helling na mu: 1. Helling na logvar: 0.5 x 1 x 0.5 = 0.25.

Jy het een nuwe operasie nodig daarvoor, exp. Die kursus-enjin het reeds een (E.exp); hier bou jy jou eie, die Module 4-wyse: voorwaartse waarde, en 'n agterwaartse reël wat die inkomende gradient met die plaaslike helling vermenigvuldig (vir exp, is die helling exp self).

In die house engine is 'n operasie 'n tensor out = E.T(value, (parent,)) met 'n reël out.back = lambda g: parent._acc(g * local_slope): back ontvang die gradiënt wat by out aankom, en _acc voeg 'n gradiënt by die ouer. E.GUIDE druk die engine se dele uit.

Woorde en simbole in hierdie les
kode (latent)
die min nommers wat die encoder uit een prentjie maak
VAE
variational autoencoder: 'n autoencoder waarvan die kodes getrek word om N(0, 1) te vul, sodat willekeur kodes ontkodeer na nuwe prente
mu, logvar
die middelpunt en die logaritme van die gekwadrateerde spreiding van 'n kode-nommer in 'n VAE
reparameterisation
code = mu + exp(logvar / 2) x eps, met eps eerste getrek, sodat gradiënte mu en logvar
bereik.
Jou beurt

Skryf exp_op(a) as 'n engine-operasie (return 'n E.T met parents en 'n back-reël). Skryf reparam(mu, logvar, eps) met exp_op, E.scale, E.mul en E.add. Kontroleer dan albei gradiënte teen nudging en stel max_gap in op die grootste verskil wat jy vind.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.