Temario Lección 172 de 246 · Módulo 15: Comprimir, reconstruir, generar (autocodificadores y VAE)
Módulo 15: Comprimir, reconstruir, generar (autocodificadores y VAE)

Un muestreo a través del que se puede entrenar

Por qué importa El código es una muestra aleatoria de N(mu, dispersión). La retropropagación necesita una pendiente de la pérdida de vuelta a mu y logvar, y "un número aleatorio" no tiene pendiente. Reescribirlo de una forma lo arregla, y se usa mucho más allá de los VAE.

Saca primero el azar, de una campana fija: eps de N(0, 1). Luego construye el código a partir de él:

code = mu + exp(logvar / 2) * eps

El código tiene exactamente el mismo reparto de valores que una muestra de N(mu, dispersión), pero ahora es aritmética normal sobre mu y logvar, con eps como una entrada más. Las pendientes son sencillas: d code / d mu = 1, y d code / d logvar = 0.5 exp(logvar / 2) eps. Este es el truco de la reparametrización.

Números diminutos

mu = 1, logvar = 0, eps = 0.5: code = 1 + 1 x 0.5 = 1.5. Pendiente respecto a mu: 1. Pendiente respecto a logvar: 0.5 x 1 x 0.5 = 0.25.

Para esto necesitas una operación nueva, exp. El motor del curso ya tiene una (E.exp); aquí construyes la tuya, a la manera del Módulo 4: el valor hacia delante, y una regla hacia atrás que multiplica el gradiente que llega por la pendiente local (para exp, la pendiente es el propio exp).

En el motor de la casa una operación es un tensor out = E.T(value, (parent,)) con una regla out.back = lambda g: parent._acc(g * local_slope): back recibe el gradiente que llega a out, y _acc suma un gradiente en el padre. E.GUIDE imprime las piezas del motor.

Palabras y símbolos de esta lección
código (latente)
los pocos números que el codificador saca de una imagen
VAE
autocodificador variacional: un autocodificador cuyos códigos se empujan para llenar N(0, 1), así que los códigos aleatorios se decodifican en imágenes nuevas
mu, logvar
el centro y el log de la dispersión al cuadrado de un número del código en un VAE
reparametrización
código = mu + exp(logvar / 2) x eps, con eps sacado primero, para que los gradientes lleguen a mu y logvar
Tu turno

Escribe exp_op(a) como una operación del motor (devuelve un E.T con padres y una regla back). Escribe reparam(mu, logvar, eps) con exp_op, E.scale, E.mul y E.add. Luego comprueba los dos gradientes con empujones y pon en max_gap la mayor diferencia que encuentres.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.