Conteúdo do curso Lição 179 de 246 · Módulo 16: Duas redes em um jogo (GANs, opcional)
Módulo 16: Duas redes em um jogo (GANs, opcional)

Truques que às vezes ajudam

Por que isso importa Artigos de GAN e posts de blog listam dezenas de truques. A maioria foi mostrada em uma configuração, geralmente com uma seed. Aqui você testa quatro deles no mesmo colapso, em mais de 8 seeds registradas, e relata o que você mediu, não o que você leu.

Os quatro truques, cada um aplicado à GAN colapsante com 8 números de ruído:

  • Label smoothing: D é informado que amostras reais são 0.8 reais, não 1, então ela nunca fica muito certa.
  • Ruído de instância: um pouco de ruído é adicionado a cada ponto que D vê, diminuindo para 0 durante o treinamento, então real e falso se sobrepõem no início.
  • Norma espectral: cada matriz de peso D é dividida pelo seu maior estiramento, então D não pode reagir muito bruscamente a pequenas mudanças.
  • Equilíbrio da taxa de aprendizado: G mais lento que D (g_lr 2.5e-4) ou mais rápido (g_lr 3e-3).

Use o espírito do Módulo 9: uma diferença só conta quando for claramente maior que o ruído entre as sementes. Compare cada truque com a execução simples semente por semente (mesma semente, pareada):

  • helped: blobs médios pelo menos 1 maior E mais blobs em pelo menos 6 das 8 sementes;
  • hurt: blobs médios pelo menos 1 menor e menos em pelo menos 6 seeds, OU qualidade média pelo menos 0.25 menor e menor em pelo menos 6 seeds (um gerador que mantém seus blobs mas espalha seus pontos não foi ajudado);
  • caso contrário sem mudança clara.
Palavras e símbolos nesta lição
GAN
rede adversarial generativa: um gerador e um discriminador treinados um contra o outro
gerador (G)
a rede que transforma ruído em uma amostra
blobs cobertos, qualidade
o juiz do anel: blobs com mais de 2% dos pontos, e a parte de pontos em um blob
label smoothing
treinando D em rótulos reais de 0.8 em vez de 1
ruído de instância
noise adicionado a tudo que o D vê, diminuindo para 0 durante o treinamento
norma espectral
dividindo cada matriz de peso D pelo seu maior stretch
Sua vez

Escreva verdict(trick) retornando "helped", "hurt" ou "no clear change" das execuções registradas. Depois preencha report com o seu veredito para cada uma das cinco execuções de truque.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.