Lehrplan Lektion 188 von 246 · Modul 17: Rauschen rein, Bilder raus (Diffusion)
Modul 17: Rauschen rein, Bilder raus (Diffusion)

Ein kleines U-Net

Warum das wichtig ist Für Bilder ist der Noise Predictor in echten Diffusionsmodellen ein U-Net: Er drückt das Bild zusammen, um die großen Formen zu sehen, und lässt es dann wieder auf die volle Größe wachsen, mit Shortcuts, die die feinen Details übertragen. Du kennst jedes Teil bereits.

A U-Net für 8 x 8 Bilder mit einem Kanal:

  1. Down: 3 x 3 conv zu 16 Kanälen, ReLU. Behalte dies als skip (8 x 8 x 16). Dann 2 x 2 average pool zu 4 x 4.
  2. Middle: 3 x 3 conv zu 32 Kanälen, ReLU (4 x 4 x 32): jede Einheit sieht jetzt einen weiten Bereich.
  3. Up: upsample auf 8 x 8, dann mit skip entlang der channels (E.concat) verbinden (
  4. ): 8 x 8 x 48.
  5. 3 x 3 conv zu 16 Kanälen, ReLU, dann eine 3 x 3 conv zu 1 Kanal: das vorhergesagte Rauschen, gleiche Größe wie der Input.

Die Skip Connection ist die Kernidee des U-Net: Der Down Path wirft Details weg, um die Form zu sehen, und der Skip gibt diese Details direkt an den Up Path weiter. Ohne sie ist die Ausgabe unscharf.

Kein Training hier: du baust es und beweist, dass es richtig verkabelt ist, mit Formen und einem Gradienten-Check, so wie du die Layer in Module 4 überprüft hast.

Wörter und Symbole in dieser Lektion
diffusion model
ein Netzwerk, das darauf trainiert ist, Rauschen schrittweise zu entfernen; es läuft rückwärts von reinem Rauschen, es generiert
U-Net
ein Netzwerk, das ein Bild verkleinert, um Formen zu sehen, es wieder vergrößert und Details über Skip Connections weitergibt
Du bist dran

Schreibe unet(x, P) für x an E.T mit der Form (n, 8, 8, 1), mit Gewichten in P wie vom Starter erstellt. Überprüfe dann einen Gradienten durch Nudging: Setze max_gap auf die größte Differenz zwischen backprop und nudging über die ersten 5 Zahlen von P['up2'][0]. Die Engine arbeitet in float32, also nutze ein Nudge von h = 1e-3 oder mehr: mit 1e-4 geht die Änderung des loss durch Rundung verloren und ein korrekter Gradient sieht falsch aus.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.