La pérdida del VAE, paso a paso (el ELBO)
Por qué importa "Reconstruir bien más quedarse cerca del centro" suena a dos objetivos pegados. Es un solo objetivo: hacer los dígitos reales lo más probables posible según el modelo. Ver por qué te dice lo que significa el número de la pérdida.
Un VAE es una historia de cómo se hace un dígito: saca un código z de N(0, 1), y luego saca cada píxel con la probabilidad que da el decodificador. El mejor modelo les da a los dígitos reales la probabilidad más alta, log p(x). Calcular log p(x) exactamente necesita una media sobre todos los z posibles, lo que está fuera de alcance.
El truco es una cota inferior que sí puedes calcular, el ELBO (cota inferior de la evidencia):
log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))
Aquí q(z | x) = N(mu, dispersión) es la suposición del codificador de qué códigos podrían haber hecho x, y E[...] hace la media sobre códigos sacados de ella. El primer término es la puntuación de reconstrucción. El segundo término es el tirón 2. La distancia entre log p(x) y el ELBO es exactamente lo equivocada que está la suposición del codificador (una KL hasta el posterior verdadero), así que subir el ELBO sube log p(x), o cierra la distancia (mejora la suposición), o las dos cosas: el ELBO solo no puede decirte cuál.
El entrenamiento minimiza -ELBO, que es la pérdida de reconstrucción + la KL: justo la pérdida de gen.train_vae.
Rellena los huecos con un ejemplo diminuto
Una imagen de 4 píxeles x = [1, 0, 1, 1]. El codificador da mu = [0.5, -1.0] y logvar = [0.0, -1.0]. Una muestra del código da las probabilidades del decodificador p = [0.9, 0.2, 0.7, 0.6] (la probabilidad de tinta de cada píxel).
Palabras y símbolos de esta lección
- código (latente)
- los pocos números que el codificador saca de una imagen
- VAE
- autocodificador variacional: un autocodificador cuyos códigos se empujan para llenar N(0, 1), así que los códigos aleatorios se decodifican en imágenes nuevas
- mu, logvar
- el centro y el log de la dispersión al cuadrado de un número del código en un VAE
- ELBO
- cota inferior de la evidencia: la puntuación de reconstrucción menos la KL; entrenar un VAE la sube
Rellena cada paso: log_p_x_given_z (la suma sobre los píxeles de x log p + (1 - x) log(1 - p)), kl (hasta N(0, 1), sumada sobre los dos números del código), elbo, y loss (lo que minimiza el entrenamiento). Luego pon en gap_means la letra que dice qué mide la distancia entre log p(x) y el ELBO.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.