Cronogramas de ruído: uma perda menor, amostras piores
Por que isso importa A perda é o número que você acompanha, então é tentador escolher o que a deixa mais baixa. Aqui esse instinto está exatamente errado, e ver por quê ensina o que a perda mede.
Dois cronogramas para os mesmos 100 passos:
- Linear (o artigo original do DDPM): beta sobe de forma uniforme de 0.0001 até 0.02 × (1000 / T). Com só 100 passos, abar cai rápido: a maioria dos passos é quase só ruído.
- Cosseno (Nichol e Dhariwal, 2021): abar segue uma curva de cosseno, então o sinal some de forma uniforme ao longo dos passos.
O curso treinou os dois na espiral, 3 seeds cada (difflab.recorded()).
Preveja primeiro: qual cronograma termina com a menor perda de treino, e qual gera amostras que ficam melhor sobre a espiral?
Palavras e símbolos nesta lição
- cronograma de ruído (beta)
- quanto ruído novo é misturado a cada passo
- abar
- a fração do sinal original que sobra depois de alguns passos (a raiz quadrada dela multiplica x0)
- eps
- o ruído em forma de sino que foi acrescentado; a rede aprende a prevê-lo
- DDPM
- amostrar voltando por todos os passos, com ruído novo a cada vez
- on shape, coverage
- o juiz 2D: a fração de amostras perto da forma real, e a fração da forma que tem uma amostra perto
Defina guess para ambas as perguntas como "linear" ou "cosine". Depois preencha table com a média da perda final de cada cronograma e a média da pontuação on-shape sobre as 3 seeds registradas, e noisy_share: para cada cronograma, a parte dos 100 steps onde menos de 10% da variância do sinal resta (abar abaixo de 0.1; o tamanho do sinal é sqrt(abar), cerca de 0.32 lá). Finalmente defina shows, as mesmas duas perguntas respondidas a partir da sua tabela. Seu palpite continua como você fez.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.