Programma Lezione 184 di 246 · Modulo 17: Dentro il rumore, fuori le immagini (diffusione)
Modulo 17: Dentro il rumore, fuori le immagini (diffusione)

Imparare a prevedere il rumore

Perché è importante Tutta la ricetta di addestramento di un modello di diffusione sta in cinque righe, ed è semplice regressione: mostra alla rete un punto rumoroso e il passo, chiedi il rumore. Nessuna partita, nessuna seconda rete.

Un passo di addestramento:

  1. Prendi un batch di punti veri x0 e, per ognuno, un passo casuale t e rumore nuovo eps.
  2. Salta a x_t con la scorciatoia.
  3. Chiedi il rumore alla rete: model.predict(x_t, t).
  4. Loss = media di (rumore previsto - eps) al quadrato.
  5. Backward, passo.

Indovina la curva

Prima di eseguire, indovina la loss in tre momenti: nei primi 10 passi, intorno al passo 300, e intorno al passo 3000. Due punti di riferimento: una rete che prevede sempre 0 ottiene esattamente 1 (il rumore ha dispersione 1), e una rete perfetta non può arrivare a 0, perché ai passi molto rumorosi il rumore è facile da indovinare ma ai passi quasi puliti è quasi impossibile.

Dove si trova oggi il campo Prevedere il rumore è, a meno di una scala, la stessa cosa che stimare lo score: la direzione in cui i dati rumorosi diventano più probabili (Song ed Ermon 2019; Ho et al. 2020). Per questo le frecce puntano verso casa. I veri generatori di immagini non aggiungono rumore ai pixel: prima schiacciano ogni immagine con un autoencoder, come nel Modulo 15, e fanno la diffusione sui piccoli codici (diffusione latente, Rombach et al. 2022). Tutto ciò che c'è in questo modulo vale anche lì; cambia solo lo spazio.

Parole e simboli di questa lezione
modello di diffusione
una rete addestrata a togliere il rumore un po' alla volta; eseguita all'indietro dal rumore puro, genera
x0, x_t
i dati puliti, e gli stessi dati dopo t passi di rumore
eps
il rumore a campana che è stato aggiunto; la rete impara a prevederlo
sulla forma, copertura
il giudice 2D: quota di campioni vicini alla forma vera, e quota della forma con un campione vicino
Tocca a te

Riempi my_guess, poi scrivi il corpo del ciclo (3000 passi da 256 punti della spirale; difflab.shape('spiral', 256, rng), difflab.add_noise). Aggiungi la loss di ogni passo a losses. Superi con una loss finale sotto 0.40 e campioni almeno a 0.75 sulla forma.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.