Conteúdo do curso Lição 184 de 246 · Módulo 17: Ruído entra, imagens saem (difusão)
Módulo 17: Ruído entra, imagens saem (difusão)

Aprendendo a prever o ruído

Por que isso importa A receita inteira de treino de um modelo de difusão cabe em cinco linhas, e é regressão simples: mostre à rede um ponto com ruído e o passo, e peça o ruído. Nenhum jogo, nenhuma segunda rede.

Um passo de treino:

  1. Pegue um batch de pontos reais x0 e, para cada um, um passo aleatório t e um ruído novo eps.
  2. Pule para x_t com o atalho.
  3. Peça o ruído à rede: model.predict(x_t, t).
  4. Perda = média de (ruído previsto - eps) ao quadrado.
  5. Backward, passo.

Chame a Curva

Antes de rodar, chute a perda em três momentos: nos primeiros 10 passos, perto do passo 300 e perto do passo 3000. Duas referências: uma rede que sempre prevê 0 marca exatamente 1 (o ruído tem dispersão 1), e uma rede perfeita não consegue chegar a 0, porque nos passos muito ruidosos o ruído é fácil de adivinhar, mas nos passos quase limpos é quase impossível.

Onde o campo está agora Prever o ruído é, a menos de uma escala, o mesmo que estimar o score: a direção na qual os dados com ruído ficam mais prováveis (Song e Ermon 2019; Ho et al. 2020). É por isso que as setas apontam para casa. Geradores de imagem reais não acrescentam ruído aos pixels: eles primeiro comprimem cada imagem com um autoencoder, como no Módulo 15, e rodam a difusão nos códigos pequenos (latent diffusion, Rombach et al. 2022). Tudo neste módulo continua valendo; só o espaço muda.

Palavras e símbolos nesta lição
modelo de difusão
uma rede treinada para tirar ruído um pouco de cada vez; rodada de trás para frente a partir de ruído puro, ela gera
x0, x_t
os dados limpos, e os mesmos dados depois de t passos de ruído
eps
o ruído em forma de sino que foi acrescentado; a rede aprende a prevê-lo
on shape, coverage
o juiz 2D: a fração de amostras perto da forma real, e a fração da forma que tem uma amostra perto
Sua vez

Preencha my_guess, depois escreva o corpo do loop (3000 steps de 256 spiral points; difflab.shape('spiral', 256, rng), difflab.add_noise). Adicione a loss de cada step a losses. Passe com uma final loss abaixo de 0.40 e samples de pelo menos 0.75 em shape.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.