Lo lejos que está un código del centro: la KL entre dos campanas
Por qué importa El tirón 2 necesita un número que minimizar: lo lejos que está la nube N(mu, dispersión) de cada código del objetivo N(0, 1). Ese número es la divergencia KL que conociste en el Módulo 2, ahora para campanas.
El Módulo 2 dio la fórmula exacta para dos campanas: la KL entre N(m1, s1) y N(m2, s2) es
log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.
Con el objetivo N(0, 1) (m2 = 0, s2 = 1) y la dispersión escrita como logvar = log(s1²), se convierte en 0.5 (mu² + exp(logvar) - 1 - logvar) por número del código. Súmalo sobre los números del código.
Números diminutos
mu = 0, logvar = 0 (dispersión 1): 0.5 (0 + 1 - 1 - 0) = 0, el código ya coincide con el objetivo. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, así que un código demasiado seguro de sí mismo también paga.
Compruébalo sin la fórmula
La KL es una media: la media de log p(x) - log q(x) para x sacados de p. Sacar muchos x y hacer la media da el mismo número, con un poco de ruido. Que dos métodos coincidan es la forma de saber que el código está bien.
Palabras y símbolos de esta lección
- código (latente)
- los pocos números que el codificador saca de una imagen
- mu, logvar
- el centro y el log de la dispersión al cuadrado de un número del código en un VAE
Escribe kl_normal(m1, s1, m2, s2) a partir de la fórmula, kl_to_standard(mu, logvar) (arrays de NumPy de forma (N, z), que devuelva la suma sobre los números del código promediada sobre las N filas), y kl_by_sampling(m1, s1, m2, s2, n) que haga la media de log p(x) - log q(x) sobre n muestras de p.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.