Conteúdo do curso Lição 178 de 246 · Módulo 16: Duas redes em um jogo (GANs, opcional)
Módulo 16: Duas redes em um jogo (GANs, opcional)

Colapso de modo, de propósito

Por que isso importa A falha de GAN mais comum parece um sucesso: cada amostra é nítida e convincente, mas todas são quase iguais. É chamado de mode collapse (cada bloco é um "modo" dos dados). Você não pode consertar o que não pode fazer acontecer, então aqui você faz acontecer.

Por que isso importa: G só precisa enganar o D de hoje. Se um blob engana o D melhor, G coloca tudo lá. D aprende que aquele blob é suspeito, G pula para outro, e os dois podem perseguir um ao outro ao redor do ringue sem que G precise se espalhar.

ganlab.train(...) treina a mesma GAN da última lição com qualquer uma dessas configurações: noise (quantos números de ruído G recebe, 2 por padrão), d_steps (passos de D por passo de G, 1), g_lr e d_lr (1e-3 cada), loss, smooth, instance_noise, spectral. As execuções registradas, ganlab.recorded(), mostram algumas configurações sobre 8 sementes.

Collapse significa poucos blobs E pontos nítidos. Um gerador que espalha pontos por toda parte também cobre poucos blobs, mas isso é uma falha diferente: ele nunca aprendeu os blobs de jeito nenhum.

Palavras e símbolos nesta lição
GAN
redees adversarial generativa: um generator e um discriminator treinados um contra o outro
gerador (G)
a rede que transforma ruído em uma amostra
modo de colapso
o gerador faz apenas alguns tipos de amostra, cada uma convincente
blobs cobertos, qualidade
o juiz do anel: blobs com mais de 2% dos pontos, e a parte de pontos em um blob
Sua vez

Encontre configurações que façam a GAN colapsar com a seed 0: no máximo 3 manchas cobertas, com qualidade de pelo menos 0.6. Coloque-as em settings. Para cada tentativa ser curta, esta lição treina por 1000 passos com taxa de aprendizado 0.002 (já definida para você; o colapso que aparece é o mesmo que em 2000 passos). Mude apenas as configurações da própria GAN (noise, d_steps até 3, loss, smooth, instance_noise, spectral); a seed, os passos e as taxas de aprendizado ficam como estão. Depois defina looks_like com a letra que descreve o colapso.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.