Programma Lezione 182 di 246 · Modulo 17: Dentro il rumore, fuori le immagini (diffusione)
Modulo 17: Dentro il rumore, fuori le immagini (diffusione)

Aggiungere rumore, passo per passo

Perché è importante I generatori di immagini dietro l'arte IA di oggi lavorano all'indietro partendo dal rumore. Per imparare a togliere il rumore, una rete deve prima vedere esattamente come è stato aggiunto. Quella metà in avanti è pura aritmetica, e ha una scorciatoia che rende possibile l'addestramento.

Prendi un punto pulito x0 (il valore di un pixel, o un punto in 2D). A ognuno di T = 100 passi, riducilo un poco e aggiungi un po' di rumore nuovo:

x_t = sqrt(1 - beta_t) x_(t-1) + sqrt(beta_t) eps, con eps estratto da N(0, 1)

La lista beta_0 ... beta_99 è il programma di rumore. Guarda la scena: una spirale di punti si dissolve in una nuvola rotonda di rumore.

La scorciatoia

Ridurre e aggiungere rumore a campana più e più volte è come farlo una volta sola con i totali. Chiama abar_t il prodotto di tutti i fattori (1 - beta) fino al passo t. Allora

x_t = sqrt(abar_t) x0 + sqrt(1 - abar_t) eps

in un colpo solo: il segnale che resta è sqrt(abar_t), la dispersione del rumore è sqrt(1 - abar_t). L'addestramento può saltare subito a qualsiasi passo, invece di arrivarci camminando.

Numeri piccolissimi

Due passi con beta = 0.1 ciascuno: abar = 0.9 × 0.9 = 0.81. Da x0 = 1 il segnale che resta è sqrt(0.81) = 0.9 e la dispersione del rumore è sqrt(0.19) = 0.44. Camminando: dopo il passo 1, 0.949 × 1 più un rumore di dispersione 0.316; dopo il passo 2, tutto si riduce di nuovo di 0.949 e si aggiunge rumore nuovo di dispersione 0.316. Le dispersioni si sommano come quadrati: 0.949^2 × 0.1 + 0.1 = 0.19. Stessa risposta.

Parole e simboli di questa lezione
programma di rumore (beta)
quanto rumore nuovo viene mescolato a ogni passo
abar
la quota del segnale originale che resta dopo un certo numero di passi (la sua radice quadrata moltiplica x0)
x0, x_t
i dati puliti, e gli stessi dati dopo t passi di rumore
eps
il rumore a campana che è stato aggiunto; la rete impara a prevederlo
Tocca a te

Scrivi walk(x0, t, beta, rng) (un passo alla volta, t + 1 passi dal passo 0 al passo t) e jump(x0, t, abar, eps) (la scorciatoia). Poi porta 20000 copie del punto (1.0, -0.5) al passo 40 in entrambi i modi e riempi stats con la media e la dispersione di ogni versione (per coordinata) accanto a ciò che il programma dice che dovrebbero essere.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.