Kurrikulum Leson 186 van 246 · Module 17: Ruis in, prente uit (diffusion)
Module 17: Ruis in, prente uit (diffusion)

Ruiskedules: 'n laer verlies, swakker voorbeelde

Waarom dit saak maak Die loss is die getal wat jy dop hou, so dit is verleidelend om enigiets te kies wat dit die laagste maak. Hier is daardie instink presies verkeerd, en om te sien waarom leer jou wat die loss meet.

Twee skedules vir dieselfde 100 stappe:

  • Linear (die oorspronklike DDPM-argument): beta styg egalig van 0.0001 tot 0.02 x (1000 / T). Met net 100 stappe daal abar vinnig: die meeste stappe is byna suiwer geraas.
  • Cosine (Nichol and Dhariwal, 2021): abar volg 'n kosinuskurwe, so die sein vervaag egaliklik oor die stappe.

Die kursus het op die spiraal getoë, 3 saadstukkies elk (difflab.recorded()).

Voorspel eerste: watter skedule eindig met die laer training loss, en watter een maak voorbeelde wat beter op die spiraal pas?

Woorde en simbole in hierdie les
geraaskedule (beta)
hoeveel vars geraas word by elke stap bygemeng
abar
die deel van die oorspronklike sein wat oorbly na 'n aantal stappe (sy vierkantswortel vermenigvuldig x0)
eps
die klokkurwe-geraas wat bygevoeg is; die netwerk leer om dit te voorspel
DDPM
monstering deur terug te stap deur elke stap, met vars noise elke keer
on vorm, dekking
die 2D-regter: deel van monsters naby die werklike vorm, en deel van die vorm met 'n monster naby dit
Jou beurt

Stel guess vir albei vrae op "linear" of "cosine". Vul dan table in met elke skedule se gemiddelde finale verlies en gemiddelde vorm-telling oor die 3 opgeneemde sade, en noisy_share: vir elke skedule, die aandeel van die 100 stappe waar minder as 10% van die sein se variansie oorbly (abar onder 0.1; die sein se grootte is sqrt(abar), sowat 0.32 daar). Stel laastens shows, dieselfde twee vrae beantwoord uit jou tabel. Jou raaiskoot bly soos jy dit gemaak het.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.