Conteúdo do curso Lição 176 de 246 · Módulo 16: Duas redes em um jogo (GANs, opcional)
Módulo 16: Duas redes em um jogo (GANs, opcional)

Duas redes em um jogo

Por que isso importa Uma VAE aprende a reconstruir imagens e paga por isso com borrão. Uma GAN (generative adversarial network) nunca reconstrói nada. Uma rede cria imagens, uma segunda as julga, e cada uma treina contra a outra. É a ideia por trás dos primeiros rostos gerados que enganaram as pessoas.

Os dois jogadores:

  • O generator G transforma ruído aleatório z em uma amostra, G(z).
  • O discriminator D olha para uma amostra e dá uma pontuação (um logit). sigmoid(score) é a crença dele de que a amostra é real.

treina como qualquer classificador: amostras reais rotuladas como 1, geradas rotuladas como 0, binary cross-entropy. G treina para enganar D. Existem duas formas de escrever a perda de G, e a diferença decide se o treinamento começa de fato:

  • Saturating (o jogo do artigo original): G minimiza log(1 - D(G(z))).
  • Non-saturating: G minimiza -log D(G(z)). Mesmo objetivo, "fazer D dizer real".

Números pequenos: as inclinações

Escreva f para a pontuação de D em um fake, então D(G(z)) = sigmoid(f). A inclinação de cada perda em relação a f é:

saturating: -sigmoid(f)    non-saturating: sigmoid(f) - 1

No início do treinamento, D identifica fakes facilmente: D(G(z)) = 0.001. A inclinação de saturação é então -0.001, quase nada para aprender. A inclinação não saturante é -0.999, um impulso total. Essa é a teoria. O curso mediu quando isso importa: no anel saudável, ambas as perdas treinam (todas as 8 seeds registradas); em um cenário onde D vence, a perda de saturação não aprende nada.

Todas as perdas aqui usam truques log-sum-exp para que nenhum logaritmo veja 0: log(sigmoid(f)) = -softplus(-f) e log(1 - sigmoid(f)) = -softplus(f), com softplus(a) = log(1 + e^a), calculado como np.logaddexp(0, a).

Palavras e símbolos nesta lição
GAN
rede adversarial generativa: um gerador e um discriminador treinados um contra o outro
gerador (G)
a rede que transforma ruído em uma amostra
discriminator (D)
a rede que pontua uma amostra como real ou gerada
saturating loss
G minimiza log(1 - D(G(z))); sua inclinação é cerca de 0 uma vez que D está certa, então G para de aprender
Sua vez

Escreva as três perdas como médias sobre um lote de scores: d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores) e g_loss_nonsat(fake_scores). Depois preencha slopes: para cada D(G(z)) em 0.001, 0.1 e 0.5, a inclinação de cada perda do gerador em relação ao score do fake (para uma amostra).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.