Conteúdo do curso Lição 175 de 246 · Módulo 15: Comprimir, reconstruir, gerar (autoencoders e VAEs)
Módulo 15: Comprimir, reconstruir, gerar (autoencoders e VAEs)

Gate: o VAE que desenha um dígito (IA desligada)

Por que isso importa Essa falha tem um nome, posterior collapse, e é comum o suficiente para que cada modelo generativo que você construir depois possa encontrar alguma versão dela. Aqui você diagnostica e corrige isso sozinho.

Regras

Gate: IA desligada. Execute o starter e veja o que o VAE quebrado faz. Você pode treinar quantas variações quiser com gen.train_vae(...) e julgá-las com gen.judge, active_units() e o erro de reconstrução.

Existem três configurações, cada uma com um motivo para testá-la:

  • weight: a força de pull 2 (o KL), 1 por padrão.
  • warmup_steps: comece com peso 0 e aumente uniformemente até weight ao longo destes passos (o treinamento é de 600 steps).
  • free_bits: um piso por número de código. Um número cujo KL está abaixo do piso paga o piso e não recebe impulso em direção ao centro, então o modelo pode se dar ao luxo de usá-lo.

Você vai ler online que aquecer o peso é a correção padrão. Descubra se é o caso aqui.

A verificação retreina seu ajuste em uma nova semente e o aprova apenas se todos os quatro forem mantidos: erro de rebuild do teste abaixo de 0.035, pelo menos 3 números de código ativos, novos dígitos com proximidade de no máximo 1.33 e variedade de pelo menos 3.0.

Palavras e símbolos nesta lição
code (latente)
os poucos números que o encoder faz de uma imagem
VAE
variational autoencoder: um autoencoder cujos códigos são puxados para preencher N(0, 1), então códigos aleatórios decodificam para novas imagens
mu, logvar
o centro e o log da dispersão ao quadrado de um número de código em um VAE
proximidade, variedade
o juiz do curso: distância até o dígito real mais próximo, e bits de dispersão sobre os dez dígitos
colapso posterior
a VAE cujos códigos todos se tornam N(0, 1) e não carregam nada; ele desenha uma imagem média
Sua vez

Defina diagnosis como uma letra e fix como um dicionário de configurações para gen.train_vae que cura o colapso.

IA desligada: sem tutor, dicas ou solução resolvida nesta. Apenas seu próprio pensamento.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.