Conteúdo do curso Lição 173 de 246 · Módulo 15: Comprimir, reconstruir, gerar (autoencoders e VAEs)
Módulo 15: Comprimir, reconstruir, gerar (autoencoders e VAEs)

Sua VAE cria novos dígitos

Por que isso importa Cada peça está pronta: o mu e o logvar do encoder, o truque para amostrar, a rebuild loss e a KL. Coloque tudo em um training step e você terá um modelo que cria dígitos que ninguém desenhou.

Um passo de treinamento, em palavras:

  1. Codifique um lote: mu, logvar = model.encode(E.T(x)).
  2. Desenhe eps de N(0, 1) com o formato de mu, e faça o código com sua reparameterisation.
  3. Decodifique o código para pontuações de pixel: model.decode_logits(code).
  4. Loss = E.bce_with_logits(scores, x) + E.kl_to_standard(mu, logvar) (a versão do motor da casa do seu KL).
  5. Para trás, depois opt.step().

Então julgue com o mesmo juiz de antes: proximidade e variedade de 500 novos dígitos sorteados de N(0, 1). O erro de reconstrução será pior que o do autoencoder (cerca de 0.03 contra 0.008). Esse é o preço do pull 2, e ele compra um espaço de código que você pode amostrar.

Palavras e símbolos nesta lição
autoencoder
um encoder que comprime uma imagem em alguns números e um decoder que a reconstrói
code (latente)
os poucos números que o encoder faz de uma imagem
VAE
variational autoencoder: um autoencoder cujos códigos são puxados para preencher N(0, 1), então códigos aleatórios decodificam para novas imagens
mu, logvar
o centro e o log da dispersão ao quadrado de um número de código em um VAE
reparameterização
code = mu + exp(logvar / 2) x eps, com eps sorteado primeiro, então os gradientes chegam em mu e logvar
proximidade, variedade
o juiz do curso: distância para o dígito real mais próximo, e bits de dispersão sobre os dez dígitos
Sua vez

Escreva o corpo do loop de treino (600 passos de 256 imagens). Para passar: erro de reconstrução no teste abaixo de 0.035, dígitos novos com proximidade de no máximo 1.30 e variedade de pelo menos 3.0, e pelo menos 3 números do código ativos. Use seu próprio loop: gen.train_vae está proibido aqui.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.