Aprendendo a prever o ruído
Por que isso importa A receita inteira de treino de um modelo de difusão cabe em cinco linhas, e é regressão simples: mostre à rede um ponto com ruído e o passo, e peça o ruído. Nenhum jogo, nenhuma segunda rede.
Um passo de treino:
- Pegue um batch de pontos reais x0 e, para cada um, um passo aleatório t e um ruído novo eps.
- Pule para x_t com o atalho.
- Peça o ruído à rede:
model.predict(x_t, t). - Perda = média de (ruído previsto - eps) ao quadrado.
- Backward, passo.
Chame a Curva
Antes de rodar, chute a perda em três momentos: nos primeiros 10 passos, perto do passo 300 e perto do passo 3000. Duas referências: uma rede que sempre prevê 0 marca exatamente 1 (o ruído tem dispersão 1), e uma rede perfeita não consegue chegar a 0, porque nos passos muito ruidosos o ruído é fácil de adivinhar, mas nos passos quase limpos é quase impossível.
Onde o campo está agora Prever o ruído é, a menos de uma escala, o mesmo que estimar o score: a direção na qual os dados com ruído ficam mais prováveis (Song e Ermon 2019; Ho et al. 2020). É por isso que as setas apontam para casa. Geradores de imagem reais não acrescentam ruído aos pixels: eles primeiro comprimem cada imagem com um autoencoder, como no Módulo 15, e rodam a difusão nos códigos pequenos (latent diffusion, Rombach et al. 2022). Tudo neste módulo continua valendo; só o espaço muda.
Palavras e símbolos nesta lição
- modelo de difusão
- uma rede treinada para tirar ruído um pouco de cada vez; rodada de trás para frente a partir de ruído puro, ela gera
- x0, x_t
- os dados limpos, e os mesmos dados depois de t passos de ruído
- eps
- o ruído em forma de sino que foi acrescentado; a rede aprende a prevê-lo
- on shape, coverage
- o juiz 2D: a fração de amostras perto da forma real, e a fração da forma que tem uma amostra perto
Preencha my_guess, depois escreva o corpo do loop (3000 steps de 256 spiral points; difflab.shape('spiral', 256, rng), difflab.add_noise). Adicione a loss de cada step a losses. Passe com uma final loss abaixo de 0.40 e samples de pelo menos 0.75 em shape.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.