Kurrikulum Leson 185 van 246 · Module 17: Ruis in, prente uit (diffusion)
Module 17: Ruis in, prente uit (diffusion)

Van geraas na 'n spiraal (DDPM)

Waarom dit saak maak Dit is die oomblik wanneer geraas data word. Begin by pure geraas en neem 100 klein stappies terug, elk een gebruik die netwerk een keer. Die loop wat jy hier skryf is, in vorm, die een wat prente in vandag se beeldgenerators teken.

Een stap terug van x_t na x_(t-1), die DDPM-wyse:

  1. Voorspel die geraas, en daaruit die skoon skatting x0 (laaste les).
  2. Clip x0 na die reeks wat werklike data kan hê (hier -3 tot 3).
  3. Skuut na die presiese gemiddelde van waar x_(t-1) sou wees, gegee x_t en x0:
    mean = (sqrt(abar_(t-1)) beta_t / (1 - abar_t)) x0 + (sqrt(1 - beta_t) (1 - abar_(t-1)) / (1 - abar_t)) x_t
  4. Voeg vars geraas van spread sqrt(beta_t (1 - abar_(t-1)) / (1 - abar_t)) by, behalwe by die laaste stap. (abar_(-1) tel as 1.)

Hoekom die clip? Die kursus het dit die harde manier op gevind. By die cosine schedule se laaste paar stappe bereik beta 0.999, so 'n gewone stap vermenigvuldig enige fout in die voorspelde noise met ongeveer 30 keer. Sonder die clip het die kursus se digit model prente geteken wat meer na deurmekaar pixels gelyk het as na syfers (nabyheid 4.68). Met dit, 1.09.

Woorde en simbole in hierdie les
geraaskedule (beta)
hoeveel vars geraas word by elke stap bygemeng
abar
die deel van die oorspronklike sein wat oorbly na 'n aantal stappe (sy vierkantswortel vermenigvuldig x0)
x0, x_t
die skoon data, en dieselfde data na t stappe van geraas
eps
die klokkurwe-geraas wat bygevoeg is; die netwerk leer om dit te voorspel
DDPM
monstering deur terug te stap deur elke stap, met vars noise elke keer
on vorm, dekking
die 2D-regter: deel van monsters naby die werklike vorm, en deel van die vorm met 'n monster naby dit
Jou beurt

Skryf step_back(x, eps_pred, t, beta, abar, rng) presies soos die vier stappe bo (clip x0 tot -3 tot 3, die gemiddelde, dan die geraas behalwe by t = 0) en die sampling loop generate(model, n, rng) wat begin by N(0, 1) geraas by stap 99 en terugstap na 0. Goed genoeg met monsters van ten minste 0.8 op die spiraal en 0.95 dekking.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.