Programma Lezione 190 di 246 · Modulo 17: Dentro il rumore, fuori le immagini (diffusione)
Modulo 17: Dentro il rumore, fuori le immagini (diffusione)

Guidare il campione (classifier-free guidance)

Perché è importante "Disegna un 7" funziona grazie a una riga di aritmetica. Ogni modello da testo a immagine la usa per far seguire il prompt alle immagini, e la stessa riga spiega perché alzarla troppo peggiora le immagini.

Il modello di cifre è stato addestrato con la sua etichetta, e il 15% delle volte con l'etichetta nascosta (un token "nessuna etichetta", difflab.NULL). Quindi una sola rete sa prevedere il rumore in entrambi i modi. La classifier-free guidance (Ho e Salimans, 2022) li mescola:

eps = (1 + w) eps_with_label - w eps_without_label

La differenza eps_with_label - eps_without_label punta verso "più simile a questa etichetta". w = 0 è il semplice campionamento condizionato; un w più grande spinge più forte. Guarda la scena: lo stesso rumore disegnato con w = 0, 1, 2 e 4.

Parole e simboli di questa lezione
eps
il rumore a campana che è stato aggiunto; la rete impara a prevederlo
DDIM
campionare saltando tra pochi passi, senza rumore nuovo
classifier-free guidance
(1 + w) × rumore previsto con l'etichetta - w × rumore previsto senza
Tocca a te

Scrivi guided(model, x, t, labels, w). Poi riempi table: per w tra 0, 1, 2 e 4, la quota di 500 campioni (20 passi DDIM, che la lezione precedente ha mostrato valere quanto 100 passi DDIM) letti come la cifra richiesta, e la loro vicinanza. Imposta best_w sul w con la vicinanza migliore (più bassa) tra quelli che raggiungono almeno 0.99 di cifre richieste.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.