Conteúdo do curso Lição 167 de 246 · Módulo 15: Comprimir, reconstruir, gerar (autoencoders e VAEs)
Módulo 15: Comprimir, reconstruir, gerar (autoencoders e VAEs)

Comprimir e reconstruir (autoencoders)

Por que isso importa Toda rede até agora transformou uma imagem em um rótulo. Este módulo transforma imagens em novas imagens. O primeiro passo é uma rede que espreme uma imagem em alguns números e a reconstrói a partir deles. Esses poucos números são de onde as novas imagens virão.

Um autoencoder são duas redes uma após a outra. O encoder espreme um dígito de 64 pixels em 16 números, seu code. O decoder reconstrói 64 pixels a partir daqueles 16 números. O treinamento pede uma coisa: a imagem reconstruída deve corresponder à original.

Ninguém diz a ele o que os 16 números devem significar. Ele tem que encontrar uma descrição curta de um dígito por si só, porque 16 números não podem simplesmente copiar 64 pixels.

Números pequenos

A O dígito de 64 pixels vira 16 números: uma compressão de 4 para 1. Se os pixels reconstruídos estiverem fora por 0.09 em média, o erro ao quadrado por pixel é cerca de 0.008. Esse é o tamanho de erro que você vai alcançar.

Como a perda é medida

Cada pixel é um número de 0 (vazio) a 1 (tinta cheia), então a última camada do decoder dá uma pontuação por pixel e a sigmoid transforma em 0..1. A perda é a binary cross-entropy do Módulo 3, somada sobre os 64 pixels e calculada pela média do batch. O motor da casa agora tem isso como E.bce_with_logits(scores, pictures): ele pega as pontuações antes da sigmoid, então ele nunca pega o log de 0.

A saída também imprime imagens como texto: gen.show(pictures)imprime cada dígito 8x8 em tons de vazio a tinta cheia.

Palavras e símbolos nesta lição
autoencoder
um encoder que comprime uma imagem em alguns números e um decoder que a reconstrói
code (latente)
os poucos números que o encoder faz de uma imagem
mu, logvar
o centro e o log da dispersão ao quadrado de um número de código em um VAE
Sua vez

Escreva encode(x): uma camada densa com ReLU (P['e1']), depois uma camada densa para 16 números (P['e2']). Escreva decode(code) do mesmo jeito com P['d1'], ReLU e P['d2'], retornando os 64 scores antes da sigmoid. O training loop é escrito para você. Alcance um erro de reconstrução de teste abaixo de 0.012 por pixel.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.