Monstervatting wat jy kan aanleer
Waarom dit saak maak Die kode is 'n willekeurtrek uit N(mu, spread). Backprop het 'n helling nodig van die loss terug na mu en logvar, en "a random number" het geen helling nie. Een herskryfding regtig dit, en dit word ver buite VAEs gebruik.
Teken die willeke eerste, vanaf 'n vaste klokkurwe: eps van N(0, 1). Bou dan die kode daaruit:
code = mu + exp(logvar / 2) * eps
Die kode het presies dieselfde spreiding van waardes as 'n trek uit N(mu, spread), maar nou is dit gewone rekenkunde op mu en logvar, met eps as 'n eenvoudige inset. Die hellings is eenvoudig: d code / d mu = 1, en d code / d logvar = 0.5 exp(logvar / 2) eps. Dit is die reparameterisation trick.
Klein getalle
mu = 1, logvar = 0, eps = 0.5: code = 1 + 1 x 0.5 = 1.5. Helling na mu: 1. Helling na logvar: 0.5 x 1 x 0.5 = 0.25.
Jy het een nuwe operasie nodig daarvoor, exp. Die kursus-enjin het reeds een (E.exp); hier bou jy jou eie, die Module 4-wyse: voorwaartse waarde, en 'n agterwaartse reël wat die inkomende gradient met die plaaslike helling vermenigvuldig (vir exp, is die helling exp self).
In die house engine is 'n operasie 'n tensor out = E.T(value, (parent,)) met 'n reël out.back = lambda g: parent._acc(g * local_slope): back ontvang die gradiënt wat by out aankom, en _acc voeg 'n gradiënt by die ouer. E.GUIDE druk die engine se dele uit.
Woorde en simbole in hierdie les
- kode (latent)
- die min nommers wat die encoder uit een prentjie maak
- VAE
- variational autoencoder: 'n autoencoder waarvan die kodes getrek word om N(0, 1) te vul, sodat willekeur kodes ontkodeer na nuwe prente
- mu, logvar
- die middelpunt en die logaritme van die gekwadrateerde spreiding van 'n kode-nommer in 'n VAE
- reparameterisation
- code = mu + exp(logvar / 2) x eps, met eps eerste getrek, sodat gradiënte mu en logvar bereik.
Skryf exp_op(a) as 'n engine-operasie (return 'n E.T met parents en 'n back-reël). Skryf reparam(mu, logvar, eps) met exp_op, E.scale, E.mul en E.add. Kontroleer dan albei gradiënte teen nudging en stel max_gap in op die grootste verskil wat jy vind.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.