Programma Les 185 van 246 · Module 17: Ruis erin, plaatjes eruit (diffusie)
Module 17: Ruis erin, plaatjes eruit (diffusie)

Van ruis naar een spiraal (DDPM)

Waarom dit ertoe doet Dit is het moment waarop ruis data wordt. Begin bij pure ruis en zet 100 kleine stappen terug, waarbij je het netwerk elke keer gebruikt. De lus die je hier schrijft is, qua vorm, de lus die plaatjes tekent in de huidige beeldgeneratoren.

Eén stap terug van x_t naar x_(t-1), de DDPM manier:

  1. Voorspel de ruis, en daaruit de schone schatting x0 (vorige les).
  2. Clip x0 naar het bereik dat echte data kan hebben (hier -3 tot 3).
  3. Ga naar het exacte gemiddelde van waar x_(t-1) zou zijn, gegeven x_t en x0:
    mean = (sqrt(abar_(t-1)) beta_t / (1 - abar_t)) x0 + (sqrt(1 - beta_t) (1 - abar_(t-1)) / (1 - abar_t)) x_t
  4. Voeg nieuwe ruis van spread sqrt(beta_t (1 - abar_(t-1)) / (1 - abar_t)) toe, behalve bij de laatste stap. (abar_(-1) telt als 1.)

Waarom de clip? De cursus ontdekte het op de harde manier. Bij de laatste paar stappen van de cosine schedule bereikt beta 0.999, dus een gewone stap vermenigvuldigt elke fout in de voorspelde noise met ongeveer 30 keer. Zonder de clip tekende het cijfermodel van de cursus plaatjes die dichter bij door elkaar gehusselde pixels lagen dan bij cijfers (nabijheid 4.68). Met de clip 1.09.

Woorden en symbolen in deze les
noise schedule (beta)
hoeveel nieuwe ruis wordt bij elke stap gemengd in
abar
het deel van het originele signaal dat overblijft na een aantal stappen (zijn wortel vermenigvuldigt x0)
x0, x_t
de schone data, en dezelfde data na t stappen van ruis
eps
de klokvormige ruis die is toegevoegd; het netwerk leert dit te voorspellen
DDPM
sampling door elke stap terug te nemen, met nieuwe ruis elke keer
on vorm, dekking
de 2D judge: aandeel van samples dicht bij de echte vorm, en aandeel van de vorm met een sample dichtbij
Jij bent aan de beurt

Schrijf step_back(x, eps_pred, t, beta, abar, rng) precies zoals de vier stappen hierboven (clip x0 naar -3 tot 3, het gemiddelde, dan de ruis behalve bij t = 0) en de sampling loop generate(model, n, rng) die begint bij N(0, 1) ruis bij stap 99 en teruggaat naar 0. Sla de test met samples van ten minste 0.8 op de spiraal en 0.95 coverage.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.