Van ruis naar een spiraal (DDPM)
Waarom dit ertoe doet Dit is het moment waarop ruis data wordt. Begin bij pure ruis en zet 100 kleine stappen terug, waarbij je het netwerk elke keer gebruikt. De lus die je hier schrijft is, qua vorm, de lus die plaatjes tekent in de huidige beeldgeneratoren.
Eén stap terug van x_t naar x_(t-1), de DDPM manier:
- Voorspel de ruis, en daaruit de schone schatting x0 (vorige les).
- Clip x0 naar het bereik dat echte data kan hebben (hier -3 tot 3).
- Ga naar het exacte gemiddelde van waar x_(t-1) zou zijn, gegeven x_t en x0:
mean = (sqrt(abar_(t-1)) beta_t / (1 - abar_t)) x0 + (sqrt(1 - beta_t) (1 - abar_(t-1)) / (1 - abar_t)) x_t - Voeg nieuwe ruis van spread
sqrt(beta_t (1 - abar_(t-1)) / (1 - abar_t))toe, behalve bij de laatste stap. (abar_(-1) telt als 1.)
Waarom de clip? De cursus ontdekte het op de harde manier. Bij de laatste paar stappen van de cosine schedule bereikt beta 0.999, dus een gewone stap vermenigvuldigt elke fout in de voorspelde noise met ongeveer 30 keer. Zonder de clip tekende het cijfermodel van de cursus plaatjes die dichter bij door elkaar gehusselde pixels lagen dan bij cijfers (nabijheid 4.68). Met de clip 1.09.
Woorden en symbolen in deze les
- noise schedule (beta)
- hoeveel nieuwe ruis wordt bij elke stap gemengd in
- abar
- het deel van het originele signaal dat overblijft na een aantal stappen (zijn wortel vermenigvuldigt x0)
- x0, x_t
- de schone data, en dezelfde data na t stappen van ruis
- eps
- de klokvormige ruis die is toegevoegd; het netwerk leert dit te voorspellen
- DDPM
- sampling door elke stap terug te nemen, met nieuwe ruis elke keer
- on vorm, dekking
- de 2D judge: aandeel van samples dicht bij de echte vorm, en aandeel van de vorm met een sample dichtbij
Schrijf step_back(x, eps_pred, t, beta, abar, rng) precies zoals de vier stappen hierboven (clip x0 naar -3 tot 3, het gemiddelde, dan de ruis behalve bij t = 0) en de sampling loop generate(model, n, rng) die begint bij N(0, 1) ruis bij stap 99 en teruggaat naar 0. Sla de test met samples van ten minste 0.8 op de spiraal en 0.95 coverage.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.