Truques que às vezes ajudam
Por que isso importa Artigos de GAN e posts de blog listam dezenas de truques. A maioria foi mostrada em uma configuração, geralmente com uma seed. Aqui você testa quatro deles no mesmo colapso, em mais de 8 seeds registradas, e relata o que você mediu, não o que você leu.
Os quatro truques, cada um aplicado à GAN colapsante com 8 números de ruído:
- Label smoothing: D é informado que amostras reais são 0.8 reais, não 1, então ela nunca fica muito certa.
- Ruído de instância: um pouco de ruído é adicionado a cada ponto que D vê, diminuindo para 0 durante o treinamento, então real e falso se sobrepõem no início.
- Norma espectral: cada matriz de peso D é dividida pelo seu maior estiramento, então D não pode reagir muito bruscamente a pequenas mudanças.
- Equilíbrio da taxa de aprendizado: G mais lento que D (g_lr 2.5e-4) ou mais rápido (g_lr 3e-3).
Use o espírito do Módulo 9: uma diferença só conta quando for claramente maior que o ruído entre as sementes. Compare cada truque com a execução simples semente por semente (mesma semente, pareada):
- helped: blobs médios pelo menos 1 maior E mais blobs em pelo menos 6 das 8 sementes;
- hurt: blobs médios pelo menos 1 menor e menos em pelo menos 6 seeds, OU qualidade média pelo menos 0.25 menor e menor em pelo menos 6 seeds (um gerador que mantém seus blobs mas espalha seus pontos não foi ajudado);
- caso contrário sem mudança clara.
Palavras e símbolos nesta lição
- GAN
- rede adversarial generativa: um gerador e um discriminador treinados um contra o outro
- gerador (G)
- a rede que transforma ruído em uma amostra
- blobs cobertos, qualidade
- o juiz do anel: blobs com mais de 2% dos pontos, e a parte de pontos em um blob
- label smoothing
- treinando D em rótulos reais de 0.8 em vez de 1
- ruído de instância
- noise adicionado a tudo que o D vê, diminuindo para 0 durante o treinamento
- norma espectral
- dividindo cada matriz de peso D pelo seu maior stretch
Escreva verdict(trick) retornando "helped", "hurt" ou "no clear change" das execuções registradas. Depois preencha report com o seu veredito para cada uma das cinco execuções de truque.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.