Quão longe um código está do centro: KL entre duas curvas de sino
Por que isso importa O Pull 2 precisa de um número para minimizar: quão longe a nuvem N(mu, spread) de cada código está do alvo N(0, 1). Esse número é a divergência KL que você viu no Módulo 2, agora para curvas de sino.
O Módulo 2 deu a fórmula exata para duas curvas de sino: KL entre N(m1, s1) e N(m2, s2) é
log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.
Com o alvo N(0, 1) (m2 = 0, s2 = 1) e o spread escrito como logvar = log(s1²), ele se torna 0.5 (mu² + exp(logvar) - 1 - logvar) por número de código. Some isso sobre os números do código.
Números pequenos
mu = 0, logvar = 0 (spread 1): 0.5 (0 + 1 - 1 - 0) = 0, o código já corresponde ao alvo. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, então um código que tem muita certeza de si também paga.
Verifique sem a fórmula
KL é uma média: a média de log p(x) - log q(x) para x extraído de p. Extrair muitos x e tirar a média dá o mesmo número, um pouco ruidoso. Dois métodos concordando é como você sabe que o código está certo.
Palavras e símbolos nesta lição
- code (latente)
- os poucos números que o encoder cria a partir de uma imagem
- mu, logvar
- o centro e o log da dispersão ao quadrado de um número de código em um VAE
Escreva kl_normal(m1, s1, m2, s2) a partir da fórmula, kl_to_standard(mu, logvar) (NumPy arrays de shape (N, z), retornando a soma sobre os números de código calculada pela média das N linhas), e kl_by_sampling(m1, s1, m2, s2, n) que calcula a média de log p(x) - log q(x) sobre n sorteios de p.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.