Conteúdo do curso Lição 171 de 246 · Módulo 15: Comprimir, reconstruir, gerar (autoencoders e VAEs)
Módulo 15: Comprimir, reconstruir, gerar (autoencoders e VAEs)

A perda VAE, passo a passo (a ELBO)

Por que isso importa "Reconstruir bem mais ficar perto do centro" parece dois objetivos colados. É um objetivo: tornar os dígitos reais o mais prováveis possível sob o modelo. Ver o porquê te diz o que o número de perda significa.

A VAE é uma história de como um dígito é feito: desenhe um código z de N(0, 1), depois desenhe cada pixel com a probabilidade que o decoder dá. O melhor modelo dá aos dígitos reais a maior probabilidade, log p(x). Calcular log p(x) exatamente precisa de uma média sobre cada z possível, o que está fora de alcance.

O truque é um limite inferior que você pode calcular, o ELBO (evidence lower bound):

log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))

Aqui q(z | x) = N(mu, spread) é o palpite do encoder de quais códigos poderiam ter gerado x, e E[...] faz a média sobre códigos extraídos dele. O primeiro termo é a pontuação de reconstrução. O segundo termo é o pull 2. A lacuna entre log p(x) e o ELBO é exatamente o quanto o palpite do encoder está errado (um KL para a posterior verdadeira), então aumentar o ELBO eleva log p(x), ou fecha a lacuna (melhora o palpite), ou ambos: o ELBO sozinho não pode te dizer qual.

O treinamento minimiza -ELBO, que é rebuild loss + KL: a própria perda em gen.train_vae.

Preencha as lacunas em um exemplo pequeno

A imagem de 4 pixels x = [1, 0, 1, 1]. O encoder fornece mu = [0.5, -1.0] e logvar = [0.0, -1.0]. Um traço do código dá as probabilidades do decoder p = [0.9, 0.2, 0.7, 0.6] (a chance de tinta de cada pixel).

Palavras e símbolos nesta lição
code (latente)
os poucos números que o encoder faz de uma imagem
VAE
variational autoencoder: um autoencoder cujos códigos são puxados para preencher N(0, 1), então códigos aleatórios decodificam para novas imagens
mu, logvar
o centro e o log da dispersão ao quadrado de um número de código em um VAE
ELBO
limite inferior de evidência: reconstruir score menos KL; treinar uma VAE o aumenta
Sua vez

Preencha cada step: log_p_x_given_z (sum over pixels of x log p + (1 - x) log(1 - p)), kl (to N(0, 1), summed over both code numbers), elbo, e loss (what training minimises). Depois defina gap_means para a letra que diz o que o gap entre log p(x) e o ELBO mede.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.