Programma Les 188 van 246 · Module 17: Ruis erin, plaatjes eruit (diffusie)
Module 17: Ruis erin, plaatjes eruit (diffusie)

Een kleine U-Net

Waarom dit ertoe doet Voor afbeeldingen is de noise predictor in echte diffusiemodellen een U-Net: het drukt de afbeelding samen om de grote vormen te zien, en bouwt het dan weer uit naar de volledige grootte, met shortcuts die de fijne details overbrengen. Je kent elk onderdeel al.

A U-Net voor 8 x 8 afbeeldingen met één kanaal:

  1. Down: 3 x 3 conv naar 16 kanalen, ReLU. Houd dit als skip (8 x 8 x 16). Daarna 2 x 2 average pool naar 4 x 4.
  2. Middle: 3 x 3 conv naar 32 kanalen, ReLU (4 x 4 x 32): elke eenheid ziet nu een breed gebied.
  3. Up: upsample naar 8 x 8, voeg het dan samen met skip langs de kanalen (E.concat): 8 x 8 x 48.
  4. 3 x 3 conv naar 16 kanalen, ReLU, dan een 3 x 3 conv naar 1 kanaal: de voorspelde ruis, dezelfde grootte als de input.

De skip connection is de kern van het U-Net: de down path gooit details weg om de vorm te zien, en de skip geeft die details direct door naar de up path. Zonder dit is de output wazig.

Geen training hier: je bouwt het en bewijst dat het goed is bedraad, met vormen en een gradient check, zoals je de lagen controleerde in Module 4.

Woorden en symbolen in deze les
diffusion model
een netwerk getraind om ruis stap voor stap te verwijderen; draai het terug vanaf pure ruis, het genereert
U-Net
een netwerk dat een afbeelding verkleint om vormen te zien, het weer vergroot en details overdraagt via skip connections
Jij bent aan de beurt

Schrijf unet(x, P) voor x en een E.T van vorm (n, 8, 8, 1), met weights in P zoals gemaakt door de starter. Controleer dan één gradient door nudging: stel max_gap in op het grootste verschil tussen backprop en nudging over de eerste 5 getallen van P['up2'][0]. De engine werkt in float32, dus nudge met h = 1e-3 of meer: met 1e-4 gaat de verandering in de loss verloren door afronding en ziet een correcte gradient er fout uit.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.