Aggiungere rumore, passo per passo
Perché è importante I generatori di immagini dietro l'arte IA di oggi lavorano all'indietro partendo dal rumore. Per imparare a togliere il rumore, una rete deve prima vedere esattamente come è stato aggiunto. Quella metà in avanti è pura aritmetica, e ha una scorciatoia che rende possibile l'addestramento.
Prendi un punto pulito x0 (il valore di un pixel, o un punto in 2D). A ognuno di T = 100 passi, riducilo un poco e aggiungi un po' di rumore nuovo:
x_t = sqrt(1 - beta_t) x_(t-1) + sqrt(beta_t) eps, con eps estratto da N(0, 1)
La lista beta_0 ... beta_99 è il programma di rumore. Guarda la scena: una spirale di punti si dissolve in una nuvola rotonda di rumore.
La scorciatoia
Ridurre e aggiungere rumore a campana più e più volte è come farlo una volta sola con i totali. Chiama abar_t il prodotto di tutti i fattori (1 - beta) fino al passo t. Allora
x_t = sqrt(abar_t) x0 + sqrt(1 - abar_t) eps
in un colpo solo: il segnale che resta è sqrt(abar_t), la dispersione del rumore è sqrt(1 - abar_t). L'addestramento può saltare subito a qualsiasi passo, invece di arrivarci camminando.
Numeri piccolissimi
Due passi con beta = 0.1 ciascuno: abar = 0.9 × 0.9 = 0.81. Da x0 = 1 il segnale che resta è sqrt(0.81) = 0.9 e la dispersione del rumore è sqrt(0.19) = 0.44. Camminando: dopo il passo 1, 0.949 × 1 più un rumore di dispersione 0.316; dopo il passo 2, tutto si riduce di nuovo di 0.949 e si aggiunge rumore nuovo di dispersione 0.316. Le dispersioni si sommano come quadrati: 0.949^2 × 0.1 + 0.1 = 0.19. Stessa risposta.
Parole e simboli di questa lezione
- programma di rumore (beta)
- quanto rumore nuovo viene mescolato a ogni passo
- abar
- la quota del segnale originale che resta dopo un certo numero di passi (la sua radice quadrata moltiplica x0)
- x0, x_t
- i dati puliti, e gli stessi dati dopo t passi di rumore
- eps
- il rumore a campana che è stato aggiunto; la rete impara a prevederlo
Scrivi walk(x0, t, beta, rng) (un passo alla volta, t + 1 passi dal passo 0 al passo t) e jump(x0, t, abar, eps) (la scorciatoia). Poi porta 20000 copie del punto (1.0, -0.5) al passo 40 in entrambi i modi e riempi stats con la media e la dispersione di ogni versione (per coordinata) accanto a ciò che il programma dice che dovrebbero essere.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.