Ruiskedules: 'n laer verlies, swakker voorbeelde
Waarom dit saak maak Die loss is die getal wat jy dop hou, so dit is verleidelend om enigiets te kies wat dit die laagste maak. Hier is daardie instink presies verkeerd, en om te sien waarom leer jou wat die loss meet.
Twee skedules vir dieselfde 100 stappe:
- Linear (die oorspronklike DDPM-argument): beta styg egalig van 0.0001 tot 0.02 x (1000 / T). Met net 100 stappe daal abar vinnig: die meeste stappe is byna suiwer geraas.
- Cosine (Nichol and Dhariwal, 2021): abar volg 'n kosinuskurwe, so die sein vervaag egaliklik oor die stappe.
Die kursus het op die spiraal getoë, 3 saadstukkies elk (difflab.recorded()).
Voorspel eerste: watter skedule eindig met die laer training loss, en watter een maak voorbeelde wat beter op die spiraal pas?
Woorde en simbole in hierdie les
- geraaskedule (beta)
- hoeveel vars geraas word by elke stap bygemeng
- abar
- die deel van die oorspronklike sein wat oorbly na 'n aantal stappe (sy vierkantswortel vermenigvuldig x0)
- eps
- die klokkurwe-geraas wat bygevoeg is; die netwerk leer om dit te voorspel
- DDPM
- monstering deur terug te stap deur elke stap, met vars noise elke keer
- on vorm, dekking
- die 2D-regter: deel van monsters naby die werklike vorm, en deel van die vorm met 'n monster naby dit
Stel guess vir albei vrae op "linear" of "cosine". Vul dan table in met elke skedule se gemiddelde finale verlies en gemiddelde vorm-telling oor die 3 opgeneemde sade, en noisy_share: vir elke skedule, die aandeel van die 100 stappe waar minder as 10% van die sein se variansie oorbly (abar onder 0.1; die sein se grootte is sqrt(abar), sowat 0.32 daar). Stel laastens shows, dieselfde twee vrae beantwoord uit jou tabel. Jou raaiskoot bly soos jy dit gemaak het.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.