Sampling waar je doorheen kunt trainen
Waarom dit ertoe doet De code is een willekeurige trekking uit N(mu, spread). Backprop heeft een helling nodig van de loss terug naar mu en logvar, en "een willekeurig getal" heeft geen helling. Eén herschrijving lost dit op, en het wordt gebruikt veel verder dan bij VAEs.
Teken eerst de willekeur, vanuit een vaste klokvorm: eps uit N(0, 1). Bouw daarna de code daaruit:
code = mu + exp(logvar / 2) * eps
De code heeft precies dezelfde spreiding van waarden als een trekking uit N(mu, spread), maar nu is het gewone rekenkunde op mu en logvar, met eps als een gewone input. De hellingen zijn simpel: d code / d mu = 1, en d code / d logvar = 0.5 exp(logvar / 2) eps. Dit is de reparameterisation trick.
Tintalletjes
mu = 1, logvar = 0, eps = 0.5: code = 1 + 1 x 0.5 = 1.5. Hellings naar mu: 1. Hellings naar logvar: 0.5 x 1 x 0.5 = 0.25.
Je hebt één nieuwe operatie nodig hiervoor, exp. De cursusmotor heeft er al een (E.exp); hier bouw je je eigen, op de manier van Module 4: een voorwaartse waarde, en een achterwaartse regel die de binnenkomende gradient vermenigvuldigt met de lokale helling (voor exp is de helling exp zelf).
In de house engine is een operatie een tensor out = E.T(value, (parent,)) met een regel out.back = lambda g: parent._acc(g * local_slope): back ontvangt de gradient die aankomt bij out, en _acc voegt een gradient toe aan de parent. E.GUIDE print de onderdelen van de engine.
Woorden en symbolen in deze les
- code (latent)
- de weinige getallen die de encoder maakt van één afbeelding
- VAE
- variational autoencoder: een autoencoder waarvan de codes worden getrokken om N(0, 1) te vullen, zodat willekeurige codes decoderen naar nieuwe plaatjes
- mu, logvar
- het centrum en de log van de gekwadrateerde spreiding van een code nummer in een VAE
- reparameterisatie
- code = mu + exp(logvar / 2) x eps, met eps eerst getrokken, zodat gradiënten mu en logvar bereiken
Schrijf exp_op(a) als een engine operatie (geef een E.T met parents en een back regel). Schrijf reparam(mu, logvar, eps) met exp_op, E.scale, E.mul en E.add. Controleer daarna beide gradiënten tegen nudging en zet max_gap op het grootste verschil dat je vindt.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.