Temario Lección 171 de 246 · Módulo 15: Comprimir, reconstruir, generar (autocodificadores y VAE)
Módulo 15: Comprimir, reconstruir, generar (autocodificadores y VAE)

La pérdida del VAE, paso a paso (el ELBO)

Por qué importa "Reconstruir bien más quedarse cerca del centro" suena a dos objetivos pegados. Es un solo objetivo: hacer los dígitos reales lo más probables posible según el modelo. Ver por qué te dice lo que significa el número de la pérdida.

Un VAE es una historia de cómo se hace un dígito: saca un código z de N(0, 1), y luego saca cada píxel con la probabilidad que da el decodificador. El mejor modelo les da a los dígitos reales la probabilidad más alta, log p(x). Calcular log p(x) exactamente necesita una media sobre todos los z posibles, lo que está fuera de alcance.

El truco es una cota inferior que sí puedes calcular, el ELBO (cota inferior de la evidencia):

log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))

Aquí q(z | x) = N(mu, dispersión) es la suposición del codificador de qué códigos podrían haber hecho x, y E[...] hace la media sobre códigos sacados de ella. El primer término es la puntuación de reconstrucción. El segundo término es el tirón 2. La distancia entre log p(x) y el ELBO es exactamente lo equivocada que está la suposición del codificador (una KL hasta el posterior verdadero), así que subir el ELBO sube log p(x), o cierra la distancia (mejora la suposición), o las dos cosas: el ELBO solo no puede decirte cuál.

El entrenamiento minimiza -ELBO, que es la pérdida de reconstrucción + la KL: justo la pérdida de gen.train_vae.

Rellena los huecos con un ejemplo diminuto

Una imagen de 4 píxeles x = [1, 0, 1, 1]. El codificador da mu = [0.5, -1.0] y logvar = [0.0, -1.0]. Una muestra del código da las probabilidades del decodificador p = [0.9, 0.2, 0.7, 0.6] (la probabilidad de tinta de cada píxel).

Palabras y símbolos de esta lección
código (latente)
los pocos números que el codificador saca de una imagen
VAE
autocodificador variacional: un autocodificador cuyos códigos se empujan para llenar N(0, 1), así que los códigos aleatorios se decodifican en imágenes nuevas
mu, logvar
el centro y el log de la dispersión al cuadrado de un número del código en un VAE
ELBO
cota inferior de la evidencia: la puntuación de reconstrucción menos la KL; entrenar un VAE la sube
Tu turno

Rellena cada paso: log_p_x_given_z (la suma sobre los píxeles de x log p + (1 - x) log(1 - p)), kl (hasta N(0, 1), sumada sobre los dos números del código), elbo, y loss (lo que minimiza el entrenamiento). Luego pon en gap_means la letra que dice qué mide la distancia entre log p(x) y el ELBO.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.