Gate: o VAE que desenha um dígito (IA desligada)
Por que isso importa Essa falha tem um nome, posterior collapse, e é comum o suficiente para que cada modelo generativo que você construir depois possa encontrar alguma versão dela. Aqui você diagnostica e corrige isso sozinho.
Gate: IA desligada. Execute o starter e veja o que o VAE quebrado faz. Você pode treinar quantas variações quiser com gen.train_vae(...) e julgá-las com gen.judge, active_units() e o erro de reconstrução.
Existem três configurações, cada uma com um motivo para testá-la:
weight: a força de pull 2 (o KL), 1 por padrão.warmup_steps: comece com peso 0 e aumente uniformemente atéweightao longo destes passos (o treinamento é de 600 steps).free_bits: um piso por número de código. Um número cujo KL está abaixo do piso paga o piso e não recebe impulso em direção ao centro, então o modelo pode se dar ao luxo de usá-lo.
Você vai ler online que aquecer o peso é a correção padrão. Descubra se é o caso aqui.
A verificação retreina seu ajuste em uma nova semente e o aprova apenas se todos os quatro forem mantidos: erro de rebuild do teste abaixo de 0.035, pelo menos 3 números de código ativos, novos dígitos com proximidade de no máximo 1.33 e variedade de pelo menos 3.0.
Palavras e símbolos nesta lição
- code (latente)
- os poucos números que o encoder faz de uma imagem
- VAE
- variational autoencoder: um autoencoder cujos códigos são puxados para preencher N(0, 1), então códigos aleatórios decodificam para novas imagens
- mu, logvar
- o centro e o log da dispersão ao quadrado de um número de código em um VAE
- proximidade, variedade
- o juiz do curso: distância até o dígito real mais próximo, e bits de dispersão sobre os dez dígitos
- colapso posterior
- a VAE cujos códigos todos se tornam N(0, 1) e não carregam nada; ele desenha uma imagem média
Defina diagnosis como uma letra e fix como um dicionário de configurações para gen.train_vae que cura o colapso.
IA desligada: sem tutor, dicas ou solução resolvida nesta. Apenas seu próprio pensamento.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.