'n Klein U-Net
Waarom dit saak maak Vir prente is die noise predictor in regte diffusion models 'n U-Net: dit druk die prent saam om die groot vorms te sien, dan groei dit terug na vol grootte met shortcuts wat die fyn besonderheid oordra. Jy ken elke stuk reeds.
U-Net vir 8 x 8 prente met een kanaal:
- Down: 3 x 3 conv na 16 kanale, ReLU. Hou dit as
skip(8 x 8 x 16). Dan 2 x 2 average pool na 4 x 4. - Middle: 3 x 3 conv na 32 kanale, ReLU (4 x 4 x 32): elke eenheid sien nou 'n wye area.
- Up: upsample na 8 x 8, dan voeg dit saam met
skiplangs die kanale (E.concat): 8 x 8 x 48. - 3 x 3 conv na 16 kanale, ReLU, dan 'n 3 x 3 conv na 1 kanaal: die voorspelde geraas, dieselfde grootte as die inset.
Die skip connection is die U-Net se sleutelidee: die down path gooi detail weg om vorm te sien, en die skip gee daardie detail direk na die up path. Sonder dit is die output vaag.
Geen opleiding hier nie: jy bou dit en bewys dit is reg gekoppel, met vorms en 'n gradiëntkontrole, die manier waarop jy lae in Module 4 gekontroleer het.
Woorde en simbole in hierdie les
- diffusiemodel
- a netwerk wat opgelei is om geraas bietjie teen 'n slag te verwyder; dit hardloop terug vanaf suiwer geraas, dit genereer
- U-Net
- a netwerk wat 'n prentjie verklein om vorms te sien, dit weer vergroot, en besonderhede oor skip connections oordra
Skryf unet(x, P) vir x en 'n E.T van vorm (n, 8, 8, 1), met gewigte in P soos gemaak deur die starter. Kontroleer dan een gradiënt deur te skuif: stel max_gap in op die grootste verskil tussen backprop en skuif oor die eerste 5 nommers van P['up2'][0]. Die enjin werk in float32, so skuif met h = 1e-3 of meer: met 1e-4 gaan die verandering in die loss verlore in afronding en lyk 'n korrekte gradiënt verkeerd.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.