Conteúdo do curso Lição 182 de 246 · Módulo 17: Ruído entra, imagens saem (difusão)
Módulo 17: Ruído entra, imagens saem (difusão)

Adicionando ruído, passo a passo

Por que isso importa Os geradores de imagem por trás da arte de IA de hoje funcionam de trás para frente a partir do ruído. Para aprender a remover o ruído, uma rede primeiro precisa ver exatamente como o ruído foi adicionado. Essa metade frontal é pura aritmética, e ela tem um atalho que torna o treinamento possível.

Pegue um ponto limpo x0 (um valor de pixel, ou um ponto em 2D). Em cada um dos T = 100 passos, reduza um pouco e adicione um pouco de ruído novo:

x_t = sqrt(1 - beta_t) x_(t-1) + sqrt(beta_t) eps, com eps tirado de N(0, 1)

A lista beta_0 ... beta_99 é o noise schedule. Observe a cena: uma espiral de pontos se dissolve em uma nuvem redonda de ruído.

O atalho

Reduzir e adicionar ruído de curva de sino repetidamente é o mesmo que fazer isso uma vez com os totais. Escreva abar_t para o produto de todos os fatores (1 - beta) até o passo t. Então

x_t = sqrt(abar_t) x0 + sqrt(1 - abar_t) eps

De uma vez: o sinal restante é sqrt(abar_t), a dispersão do ruído é sqrt(1 - abar_t). O treinamento pode pular para qualquer step instantaneamente, em vez de caminhar até lá.

Números pequenos

Dois passos com beta = 0.1 cada: abar = 0.9 x 0.9 = 0.81. A partir de x0 = 1 o sinal restante é sqrt(0.81) = 0.9 e a dispersão do ruído é sqrt(0.19) = 0.44. Caminhando: após o passo 1, 0.949 x 1 mais ruído de dispersão 0.316; após o passo 2, tudo encolhe por 0.949 novamente e novo ruído de dispersão 0.316 se junta. As dispersões somam como quadrados: 0.949^2 x 0.1 + 0.1 = 0.19. Mesma resposta.

Palavras e símbolos nesta lição
cronograma de ruído (beta)
quanto ruído novo é misturado em cada passo
abar
a parte do sinal original que sobra após uma série de passos (sua raiz quadrada multiplica x0)
x0, x_t
os dados limpos, e os mesmos dados após t passos de ruído
eps
o ruído de curva de sino que foi adicionado; a rede aprende a prevê-lo
Sua vez

Escreva walk(x0, t, beta, rng) (um passo de cada vez, t + 1 passos do passo 0 ao passo t) e jump(x0, t, abar, eps) (o atalho). Depois adicione ruído a 20000 cópias do ponto (1.0, -0.5) até o passo 40 em ambos os sentidos e preencha stats com a média e o desvio de cada versão (por coordenada) ao lado do que o cronograma diz que eles deveriam ser.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.