Do ruído a uma espiral (DDPM)
Por que isso importa Este é o momento em que o ruído se torna dado. Comece do ruído puro e dê 100 pequenos passos para trás, cada um usando a rede uma vez. O laço que você escreve aqui é, em forma, aquele que desenha imagens nos geradores de imagens de hoje.
Um passo atrás de x_t para x_(t-1), do jeito DDPM:
- Preveja o ruído e, a partir dele, a estimativa limpa x0 (última lição).
- Clip x0 para o intervalo que dados reais podem ter (aqui -3 a 3).
- Mova para a média exata de onde x_(t-1) estaria, dado x_t e x0:
mean = (sqrt(abar_(t-1)) beta_t / (1 - abar_t)) x0 + (sqrt(1 - beta_t) (1 - abar_(t-1)) / (1 - abar_t)) x_t - Adicione ruído novo de spread
sqrt(beta_t (1 - abar_(t-1)) / (1 - abar_t)), exceto no último passo. (abar_(-1) conta como 1.)
Por que o clip? O curso descobriu da maneira difícil. Nos últimos passos do cosine schedule, o beta atinge 0.999, então um step simples multiplica qualquer erro no noise previsto em cerca de 30 vezes. Sem o clip, o modelo de dígitos do curso desenhou imagens mais próximas de pixels embaralhados do que de dígitos (proximidade 4.68). Com ele, 1.09.
Palavras e símbolos nesta lição
- cronograma de ruído (beta)
- quanto ruído novo é misturado em cada passo
- abar
- a parte do sinal original que sobra depois de um número de steps (sua raiz quadrada multiplica x0)
- x0, x_t
- os dados limpos, e os mesmos dados após t passos de ruído
- eps
- o ruído de curva de sino que foi adicionado; a rede aprende a prevê-lo
- DDPM
- amostragem retrocedendo por cada step, com ruído novo a cada vez
- on shape, coverage
- o juiz 2D: proporção de amostras perto da forma real, e proporção da forma com uma amostra perto dela
Escreva step_back(x, eps_pred, t, beta, abar, rng) exatamente como os quatro passos acima (clip x0 de -3 a 3, a média, depois o ruído exceto em t = 0) e o laço de amostragem generate(model, n, rng) que começa do ruído N(0, 1) no passo 99 e volta para 0. Passe com amostras de pelo menos 0.8 na espiral e 0.95 de cobertura.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.