Duas redes em um jogo
Por que isso importa Uma VAE aprende a reconstruir imagens e paga por isso com borrão. Uma GAN (generative adversarial network) nunca reconstrói nada. Uma rede cria imagens, uma segunda as julga, e cada uma treina contra a outra. É a ideia por trás dos primeiros rostos gerados que enganaram as pessoas.
Os dois jogadores:
- O generator G transforma ruído aleatório z em uma amostra, G(z).
- O discriminator D olha para uma amostra e dá uma pontuação (um logit). sigmoid(score) é a crença dele de que a amostra é real.
treina como qualquer classificador: amostras reais rotuladas como 1, geradas rotuladas como 0, binary cross-entropy. G treina para enganar D. Existem duas formas de escrever a perda de G, e a diferença decide se o treinamento começa de fato:
- Saturating (o jogo do artigo original): G minimiza log(1 - D(G(z))).
- Non-saturating: G minimiza -log D(G(z)). Mesmo objetivo, "fazer D dizer real".
Números pequenos: as inclinações
Escreva f para a pontuação de D em um fake, então D(G(z)) = sigmoid(f). A inclinação de cada perda em relação a f é:
saturating: -sigmoid(f) non-saturating: sigmoid(f) - 1
No início do treinamento, D identifica fakes facilmente: D(G(z)) = 0.001. A inclinação de saturação é então -0.001, quase nada para aprender. A inclinação não saturante é -0.999, um impulso total. Essa é a teoria. O curso mediu quando isso importa: no anel saudável, ambas as perdas treinam (todas as 8 seeds registradas); em um cenário onde D vence, a perda de saturação não aprende nada.
Todas as perdas aqui usam truques log-sum-exp para que nenhum logaritmo veja 0: log(sigmoid(f)) = -softplus(-f) e log(1 - sigmoid(f)) = -softplus(f), com softplus(a) = log(1 + e^a), calculado como np.logaddexp(0, a).
Palavras e símbolos nesta lição
- GAN
- rede adversarial generativa: um gerador e um discriminador treinados um contra o outro
- gerador (G)
- a rede que transforma ruído em uma amostra
- discriminator (D)
- a rede que pontua uma amostra como real ou gerada
- saturating loss
- G minimiza log(1 - D(G(z))); sua inclinação é cerca de 0 uma vez que D está certa, então G para de aprender
Escreva as três perdas como médias sobre um lote de scores: d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores) e g_loss_nonsat(fake_scores). Depois preencha slopes: para cada D(G(z)) em 0.001, 0.1 e 0.5, a inclinação de cada perda do gerador em relação ao score do fake (para uma amostra).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.