Programma Lezione 188 di 246 · Modulo 17: Dentro il rumore, fuori le immagini (diffusione)
Modulo 17: Dentro il rumore, fuori le immagini (diffusione)

Una piccola U-Net

Perché è importante Per le immagini, il predittore di rumore nei veri modelli di diffusione è una U-Net: schiaccia l'immagine per vedere le forme grandi, poi la riporta alla dimensione piena, con scorciatoie che portano dall'altra parte i dettagli fini. Conosci già ogni pezzo.

Una U-Net per immagini 8 x 8 con un canale:

  1. Giù: conv 3 x 3 verso 16 canali, ReLU. Tienilo come skip (8 x 8 x 16). Poi average pool 2 x 2 fino a 4 x 4.
  2. Mezzo: conv 3 x 3 verso 32 canali, ReLU (4 x 4 x 32): ogni unità ora vede un'area ampia.
  3. Su: upsampling fino a 8 x 8, poi uniscilo a skip lungo i canali (E.concat): 8 x 8 x 48.
  4. conv 3 x 3 verso 16 canali, ReLU, poi una conv 3 x 3 verso 1 canale: il rumore previsto, della stessa dimensione dell'input.

La connessione skip è l'idea chiave della U-Net: il percorso in discesa butta via i dettagli per vedere la forma, e lo skip passa quei dettagli direttamente al percorso in salita. Senza, l'output è sfocato.

Qui niente addestramento: la costruisci e dimostri che è collegata bene, con le forme e un controllo del gradiente, come hai controllato i layer nel Modulo 4.

Parole e simboli di questa lezione
modello di diffusione
una rete addestrata a togliere il rumore un po' alla volta; eseguita all'indietro dal rumore puro, genera
U-Net
una rete che rimpicciolisce un'immagine per vedere le forme, la fa ricrescere, e passa i dettagli dall'altra parte con connessioni skip
Tocca a te

Scrivi unet(x, P) per x un E.T di forma (n, 8, 8, 1), con i pesi in P come li crea il codice di partenza. Poi controlla un gradiente spingendo i valori: imposta max_gap sulla differenza più grande tra backprop e spinta sui primi 5 numeri di P['up2'][0]. Il motore lavora in float32, quindi spingi di h = 1e-3 o più: con 1e-4 la variazione della loss si perde negli arrotondamenti e un gradiente corretto sembra sbagliato.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.