Conteúdo do curso Lição 186 de 246 · Módulo 17: Ruído entra, imagens saem (difusão)
Módulo 17: Ruído entra, imagens saem (difusão)

Cronogramas de ruído: uma perda menor, amostras piores

Por que isso importa A perda é o número que você acompanha, então é tentador escolher o que a deixa mais baixa. Aqui esse instinto está exatamente errado, e ver por quê ensina o que a perda mede.

Dois cronogramas para os mesmos 100 passos:

  • Linear (o artigo original do DDPM): beta sobe de forma uniforme de 0.0001 até 0.02 × (1000 / T). Com só 100 passos, abar cai rápido: a maioria dos passos é quase só ruído.
  • Cosseno (Nichol e Dhariwal, 2021): abar segue uma curva de cosseno, então o sinal some de forma uniforme ao longo dos passos.

O curso treinou os dois na espiral, 3 seeds cada (difflab.recorded()).

Preveja primeiro: qual cronograma termina com a menor perda de treino, e qual gera amostras que ficam melhor sobre a espiral?

Palavras e símbolos nesta lição
cronograma de ruído (beta)
quanto ruído novo é misturado a cada passo
abar
a fração do sinal original que sobra depois de alguns passos (a raiz quadrada dela multiplica x0)
eps
o ruído em forma de sino que foi acrescentado; a rede aprende a prevê-lo
DDPM
amostrar voltando por todos os passos, com ruído novo a cada vez
on shape, coverage
o juiz 2D: a fração de amostras perto da forma real, e a fração da forma que tem uma amostra perto
Sua vez

Defina guess para ambas as perguntas como "linear" ou "cosine". Depois preencha table com a média da perda final de cada cronograma e a média da pontuação on-shape sobre as 3 seeds registradas, e noisy_share: para cada cronograma, a parte dos 100 steps onde menos de 10% da variância do sinal resta (abar abaixo de 0.1; o tamanho do sinal é sqrt(abar), cerca de 0.32 lá). Finalmente defina shows, as mesmas duas perguntas respondidas a partir da sua tabela. Seu palpite continua como você fez.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.