Programma Les 172 van 246 · Module 15: Samendrukken, herbouwen, genereren (autoencoders en VAEs)
Module 15: Samendrukken, herbouwen, genereren (autoencoders en VAEs)

Sampling waar je doorheen kunt trainen

Waarom dit ertoe doet De code is een willekeurige trekking uit N(mu, spread). Backprop heeft een helling nodig van de loss terug naar mu en logvar, en "een willekeurig getal" heeft geen helling. Eén herschrijving lost dit op, en het wordt gebruikt veel verder dan bij VAEs.

Teken eerst de willekeur, vanuit een vaste klokvorm: eps uit N(0, 1). Bouw daarna de code daaruit:

code = mu + exp(logvar / 2) * eps

De code heeft precies dezelfde spreiding van waarden als een trekking uit N(mu, spread), maar nu is het gewone rekenkunde op mu en logvar, met eps als een gewone input. De hellingen zijn simpel: d code / d mu = 1, en d code / d logvar = 0.5 exp(logvar / 2) eps. Dit is de reparameterisation trick.

Tintalletjes

mu = 1, logvar = 0, eps = 0.5: code = 1 + 1 x 0.5 = 1.5. Hellings naar mu: 1. Hellings naar logvar: 0.5 x 1 x 0.5 = 0.25.

Je hebt één nieuwe operatie nodig hiervoor, exp. De cursusmotor heeft er al een (E.exp); hier bouw je je eigen, op de manier van Module 4: een voorwaartse waarde, en een achterwaartse regel die de binnenkomende gradient vermenigvuldigt met de lokale helling (voor exp is de helling exp zelf).

In de house engine is een operatie een tensor out = E.T(value, (parent,)) met een regel out.back = lambda g: parent._acc(g * local_slope): back ontvangt de gradient die aankomt bij out, en _acc voegt een gradient toe aan de parent. E.GUIDE print de onderdelen van de engine.

Woorden en symbolen in deze les
code (latent)
de weinige getallen die de encoder maakt van één afbeelding
VAE
variational autoencoder: een autoencoder waarvan de codes worden getrokken om N(0, 1) te vullen, zodat willekeurige codes decoderen naar nieuwe plaatjes
mu, logvar
het centrum en de log van de gekwadrateerde spreiding van een code nummer in een VAE
reparameterisatie
code = mu + exp(logvar / 2) x eps, met eps eerst getrokken, zodat gradiënten mu en logvar
bereiken
Jij bent aan de beurt

Schrijf exp_op(a) als een engine operatie (geef een E.T met parents en een back regel). Schrijf reparam(mu, logvar, eps) met exp_op, E.scale, E.mul en E.add. Controleer daarna beide gradiënten tegen nudging en zet max_gap op het grootste verschil dat je vindt.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.