A perda VAE, passo a passo (a ELBO)
Por que isso importa "Reconstruir bem mais ficar perto do centro" parece dois objetivos colados. É um objetivo: tornar os dígitos reais o mais prováveis possível sob o modelo. Ver o porquê te diz o que o número de perda significa.
A VAE é uma história de como um dígito é feito: desenhe um código z de N(0, 1), depois desenhe cada pixel com a probabilidade que o decoder dá. O melhor modelo dá aos dígitos reais a maior probabilidade, log p(x). Calcular log p(x) exatamente precisa de uma média sobre cada z possível, o que está fora de alcance.
O truque é um limite inferior que você pode calcular, o ELBO (evidence lower bound):
log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))
Aqui q(z | x) = N(mu, spread) é o palpite do encoder de quais códigos poderiam ter gerado x, e E[...] faz a média sobre códigos extraídos dele. O primeiro termo é a pontuação de reconstrução. O segundo termo é o pull 2. A lacuna entre log p(x) e o ELBO é exatamente o quanto o palpite do encoder está errado (um KL para a posterior verdadeira), então aumentar o ELBO eleva log p(x), ou fecha a lacuna (melhora o palpite), ou ambos: o ELBO sozinho não pode te dizer qual.
O treinamento minimiza -ELBO, que é rebuild loss + KL: a própria perda em gen.train_vae.
Preencha as lacunas em um exemplo pequeno
A imagem de 4 pixels x = [1, 0, 1, 1]. O encoder fornece mu = [0.5, -1.0] e logvar = [0.0, -1.0]. Um traço do código dá as probabilidades do decoder p = [0.9, 0.2, 0.7, 0.6] (a chance de tinta de cada pixel).
Palavras e símbolos nesta lição
- code (latente)
- os poucos números que o encoder faz de uma imagem
- VAE
- variational autoencoder: um autoencoder cujos códigos são puxados para preencher N(0, 1), então códigos aleatórios decodificam para novas imagens
- mu, logvar
- o centro e o log da dispersão ao quadrado de um número de código em um VAE
- ELBO
- limite inferior de evidência: reconstruir score menos KL; treinar uma VAE o aumenta
Preencha cada step: log_p_x_given_z (sum over pixels of x log p + (1 - x) log(1 - p)), kl (to N(0, 1), summed over both code numbers), elbo, e loss (what training minimises). Depois defina gap_means para a letra que diz o que o gap entre log p(x) e o ELBO mede.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.