Programma Lezione 186 di 246 · Modulo 17: Dentro il rumore, fuori le immagini (diffusione)
Modulo 17: Dentro il rumore, fuori le immagini (diffusione)

Programmi di rumore: una loss più bassa, campioni peggiori

Perché è importante La loss è il numero che guardi, quindi viene la tentazione di scegliere ciò che la rende più bassa. Qui quell'istinto è proprio sbagliato, e vedere perché ti insegna che cosa misura la loss.

Due programmi per gli stessi 100 passi:

  • Lineare (l'articolo originale di DDPM): beta sale in modo uniforme da 0.0001 a 0.02 × (1000 / T). Con soli 100 passi, abar scende in fretta: quasi tutti i passi sono rumore quasi puro.
  • Coseno (Nichol e Dhariwal, 2021): abar segue una curva coseno, così il segnale svanisce in modo uniforme lungo i passi.

Il corso li ha addestrati entrambi sulla spirale, 3 seed ciascuno (difflab.recorded()).

Prima prevedi: quale programma finisce con la loss di addestramento più bassa, e quale crea campioni che stanno meglio sulla spirale?

Parole e simboli di questa lezione
programma di rumore (beta)
quanto rumore nuovo viene mescolato a ogni passo
abar
la quota del segnale originale che resta dopo un certo numero di passi (la sua radice quadrata moltiplica x0)
eps
il rumore a campana che è stato aggiunto; la rete impara a prevederlo
DDPM
campionare tornando indietro attraverso ogni passo, con rumore nuovo ogni volta
sulla forma, copertura
il giudice 2D: quota di campioni vicini alla forma vera, e quota della forma con un campione vicino
Tocca a te

Imposta guess per entrambe le domande su "linear" o "cosine". Poi riempi table con la loss finale media e il punteggio medio sulla forma di ogni programma sui 3 seed registrati, e noisy_share: per ogni programma, la quota dei 100 passi in cui resta meno del 10% della varianza del segnale (abar sotto 0.1; la grandezza del segnale è sqrt(abar), circa 0.32 lì). Infine imposta shows, le stesse due domande con le risposte prese dalla tua tabella. La tua ipotesi resta come l'hai fatta.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.