Adicionando ruído, passo a passo
Por que isso importa Os geradores de imagem por trás da arte de IA de hoje funcionam de trás para frente a partir do ruído. Para aprender a remover o ruído, uma rede primeiro precisa ver exatamente como o ruído foi adicionado. Essa metade frontal é pura aritmética, e ela tem um atalho que torna o treinamento possível.
Pegue um ponto limpo x0 (um valor de pixel, ou um ponto em 2D). Em cada um dos T = 100 passos, reduza um pouco e adicione um pouco de ruído novo:
x_t = sqrt(1 - beta_t) x_(t-1) + sqrt(beta_t) eps, com eps tirado de N(0, 1)
A lista beta_0 ... beta_99 é o noise schedule. Observe a cena: uma espiral de pontos se dissolve em uma nuvem redonda de ruído.
O atalho
Reduzir e adicionar ruído de curva de sino repetidamente é o mesmo que fazer isso uma vez com os totais. Escreva abar_t para o produto de todos os fatores (1 - beta) até o passo t. Então
x_t = sqrt(abar_t) x0 + sqrt(1 - abar_t) eps
De uma vez: o sinal restante é sqrt(abar_t), a dispersão do ruído é sqrt(1 - abar_t). O treinamento pode pular para qualquer step instantaneamente, em vez de caminhar até lá.
Números pequenos
Dois passos com beta = 0.1 cada: abar = 0.9 x 0.9 = 0.81. A partir de x0 = 1 o sinal restante é sqrt(0.81) = 0.9 e a dispersão do ruído é sqrt(0.19) = 0.44. Caminhando: após o passo 1, 0.949 x 1 mais ruído de dispersão 0.316; após o passo 2, tudo encolhe por 0.949 novamente e novo ruído de dispersão 0.316 se junta. As dispersões somam como quadrados: 0.949^2 x 0.1 + 0.1 = 0.19. Mesma resposta.
Palavras e símbolos nesta lição
- cronograma de ruído (beta)
- quanto ruído novo é misturado em cada passo
- abar
- a parte do sinal original que sobra após uma série de passos (sua raiz quadrada multiplica x0)
- x0, x_t
- os dados limpos, e os mesmos dados após t passos de ruído
- eps
- o ruído de curva de sino que foi adicionado; a rede aprende a prevê-lo
Escreva walk(x0, t, beta, rng) (um passo de cada vez, t + 1 passos do passo 0 ao passo t) e jump(x0, t, abar, eps) (o atalho). Depois adicione ruído a 20000 cópias do ponto (1.0, -0.5) até o passo 40 em ambos os sentidos e preencha stats com a média e o desvio de cada versão (por coordenada) ao lado do que o cronograma diz que eles deveriam ser.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.