Una piccola U-Net
Perché è importante Per le immagini, il predittore di rumore nei veri modelli di diffusione è una U-Net: schiaccia l'immagine per vedere le forme grandi, poi la riporta alla dimensione piena, con scorciatoie che portano dall'altra parte i dettagli fini. Conosci già ogni pezzo.
Una U-Net per immagini 8 x 8 con un canale:
- Giù: conv 3 x 3 verso 16 canali, ReLU. Tienilo come
skip(8 x 8 x 16). Poi average pool 2 x 2 fino a 4 x 4. - Mezzo: conv 3 x 3 verso 32 canali, ReLU (4 x 4 x 32): ogni unità ora vede un'area ampia.
- Su: upsampling fino a 8 x 8, poi uniscilo a
skiplungo i canali (E.concat): 8 x 8 x 48. - conv 3 x 3 verso 16 canali, ReLU, poi una conv 3 x 3 verso 1 canale: il rumore previsto, della stessa dimensione dell'input.
La connessione skip è l'idea chiave della U-Net: il percorso in discesa butta via i dettagli per vedere la forma, e lo skip passa quei dettagli direttamente al percorso in salita. Senza, l'output è sfocato.
Qui niente addestramento: la costruisci e dimostri che è collegata bene, con le forme e un controllo del gradiente, come hai controllato i layer nel Modulo 4.
Parole e simboli di questa lezione
- modello di diffusione
- una rete addestrata a togliere il rumore un po' alla volta; eseguita all'indietro dal rumore puro, genera
- U-Net
- una rete che rimpicciolisce un'immagine per vedere le forme, la fa ricrescere, e passa i dettagli dall'altra parte con connessioni skip
Scrivi unet(x, P) per x un E.T di forma (n, 8, 8, 1), con i pesi in P come li crea il codice di partenza. Poi controlla un gradiente spingendo i valori: imposta max_gap sulla differenza più grande tra backprop e spinta sui primi 5 numeri di P['up2'][0]. Il motore lavora in float32, quindi spingi di h = 1e-3 o più: con 1e-4 la variazione della loss si perde negli arrotondamenti e un gradiente corretto sembra sbagliato.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.