Kurrikulum Leson 184 van 246 · Module 17: Ruis in, prente uit (diffusion)
Module 17: Ruis in, prente uit (diffusion)

Leer om die geraas te voorspel

Waarom dit saak maak Die hele opleidingsresep vir 'n diffusion model pas in vyf reëls, en dit is eenvoudige regressie: wys die netwerk 'n raserige punt en die stap, vra vir die noise. Geen spel, geen tweede netwerk.

Een opleidingsstap:

  1. Neem 'n stel werklike punte x0 en, vir elk een, 'n willekeurige stap t en vars geraas eps.
  2. Spring na x_t met die kortpad.
  3. Vra die netwerk vir die geraas: model.predict(x_t, t).
  4. Loss = gemiddelde van (predicted noise - eps) gekwadrateer.
  5. Agtertoe, stap.

Voorspel die kurwe

Voordat jy dit hardloop, raai die verlies op drie oomblikke: oor die eerste 10 stappe, rondom stap 300, en rondom stap 3000. Twee ankers: 'n netwerk wat altyd 0 voorspel is presies 1 (die geraas het 1 versprei), en 'n perfekte netwerk kan nie 0 bereik nie, want by baie raserige stappe is die geraas maklik om te raai maar by amper skoon stappe is dit byna onmoontlik.

Waar die veld nou is Om die geraas te voorspel is, tot by 'n skaal, dieselfde as om die score te skat: die rigting waarin die geraasagtige data meer waarskynlik word (Song and Ermon 2019; Ho et al. 2020). Dit is waarom die arrows huis toe wys. Ware beeldgenerators voeg nie geraas by pixels by nie: hulle druk eers elke prent met 'n autoencoder, soos in Module 15, en hardloop diffusion op die klein kodes (latent diffusion, Rombach et al. 2022). Alles in hierdie module dra oor; net die spasie verander.

Woorde en simbole in hierdie les
diffusiemodel
a netwerk wat opgelei is om geraas stap vir stap te verwyder; dit hardloop terug vanaf suiwer geraas, dit genereer
x0, x_t
die skoon data, en dieselfde data na t stappe van geraas
eps
die klokkurwe-geraas wat bygevoeg is; die netwerk leer om dit te voorspel
vorm, dekking
die 2D-regter: deel van monsters naby die werklike vorm, en deel van die vorm met 'n monster naby dit
Jou beurt

Vul

my_guess in, skryf dan die loop se liggaam (3000 stappe van 256 spiraalpunte; difflab.shape('spiral', 256, rng), difflab.add_noise). Voeg elke stap se loss by aan losses. Slaag met 'n finale loss onder 0.40 en samples van ten minste 0.75 op shape.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.