Conteúdo do curso Lição 170 de 246 · Módulo 15: Comprimir, reconstruir, gerar (autoencoders e VAEs)
Módulo 15: Comprimir, reconstruir, gerar (autoencoders e VAEs)

Quão longe um código está do centro: KL entre duas curvas de sino

Por que isso importa O Pull 2 precisa de um número para minimizar: quão longe a nuvem N(mu, spread) de cada código está do alvo N(0, 1). Esse número é a divergência KL que você viu no Módulo 2, agora para curvas de sino.

O Módulo 2 deu a fórmula exata para duas curvas de sino: KL entre N(m1, s1) e N(m2, s2) é

log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.

Com o alvo N(0, 1) (m2 = 0, s2 = 1) e o spread escrito como logvar = log(s1²), ele se torna 0.5 (mu² + exp(logvar) - 1 - logvar) por número de código. Some isso sobre os números do código.

Números pequenos

mu = 0, logvar = 0 (spread 1): 0.5 (0 + 1 - 1 - 0) = 0, o código já corresponde ao alvo. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, então um código que tem muita certeza de si também paga.

Verifique sem a fórmula

KL é uma média: a média de log p(x) - log q(x) para x extraído de p. Extrair muitos x e tirar a média dá o mesmo número, um pouco ruidoso. Dois métodos concordando é como você sabe que o código está certo.

Palavras e símbolos nesta lição
code (latente)
os poucos números que o encoder cria a partir de uma imagem
mu, logvar
o centro e o log da dispersão ao quadrado de um número de código em um VAE
Sua vez

Escreva kl_normal(m1, s1, m2, s2) a partir da fórmula, kl_to_standard(mu, logvar) (NumPy arrays de shape (N, z), retornando a soma sobre os números de código calculada pela média das N linhas), e kl_by_sampling(m1, s1, m2, s2, n) que calcula a média de log p(x) - log q(x) sobre n sorteios de p.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.