Temario Lección 170 de 246 · Módulo 15: Comprimir, reconstruir, generar (autocodificadores y VAE)
Módulo 15: Comprimir, reconstruir, generar (autocodificadores y VAE)

Lo lejos que está un código del centro: la KL entre dos campanas

Por qué importa El tirón 2 necesita un número que minimizar: lo lejos que está la nube N(mu, dispersión) de cada código del objetivo N(0, 1). Ese número es la divergencia KL que conociste en el Módulo 2, ahora para campanas.

El Módulo 2 dio la fórmula exacta para dos campanas: la KL entre N(m1, s1) y N(m2, s2) es

log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.

Con el objetivo N(0, 1) (m2 = 0, s2 = 1) y la dispersión escrita como logvar = log(s1²), se convierte en 0.5 (mu² + exp(logvar) - 1 - logvar) por número del código. Súmalo sobre los números del código.

Números diminutos

mu = 0, logvar = 0 (dispersión 1): 0.5 (0 + 1 - 1 - 0) = 0, el código ya coincide con el objetivo. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, así que un código demasiado seguro de sí mismo también paga.

Compruébalo sin la fórmula

La KL es una media: la media de log p(x) - log q(x) para x sacados de p. Sacar muchos x y hacer la media da el mismo número, con un poco de ruido. Que dos métodos coincidan es la forma de saber que el código está bien.

Palabras y símbolos de esta lección
código (latente)
los pocos números que el codificador saca de una imagen
mu, logvar
el centro y el log de la dispersión al cuadrado de un número del código en un VAE
Tu turno

Escribe kl_normal(m1, s1, m2, s2) a partir de la fórmula, kl_to_standard(mu, logvar) (arrays de NumPy de forma (N, z), que devuelva la suma sobre los números del código promediada sobre las N filas), y kl_by_sampling(m1, s1, m2, s2, n) que haga la media de log p(x) - log q(x) sobre n muestras de p.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.