Voeg geraas by, stap vir stap
Waarom dit saak maak Die beeldgenerators agter vandag se KI-kuns werk terugwaarts vanaf geraas. Om te leer hoe om geraas te verwyder, moet 'n netwerk eers presies sien hoe die geraas bygevoeg is. Daardie voorwaartse helfte is suiwer rekenkunde, en dit het 'n kortpad wat opleiding moontlik maak.
Neem 'n skoon punt x0 ('n pixelwaarde, of 'n punt in 2D). By elke een van T = 100 stappe, verklein dit 'n bietjie en voeg 'n bietjie vars noise by:
x_t = sqrt(1 - beta_t) x_(t-1) + sqrt(beta_t) eps, met eps getrek uit N(0, 1)
Die lys beta_0 ... beta_99 is die noise schedule. Kyk na die toneel: 'n spiraal van punte los op in 'n ronde wolk van geraas.
Die kortpad
Omkrimp en voeg herhaaldelik bell-kurwe ruis by is dieselfde as om dit een keer met die totale te doen. Skryf abar_t vir die produk van alle (1 - beta) faktore tot stap t. Dan
x_t = sqrt(abar_t) x0 + sqrt(1 - abar_t) eps
In een slag: die sein wat oorbly is sqrt(abar_t), die geraasspreiding is sqrt(1 - abar_t). Opvoeding kan onmiddellik na enige stap spring, in plaas daarvan om daarheen te stap.
klein getalle
Twee stappe met beta = 0.1 elk: abar = 0.9 x 0.9 = 0.81. Van x0 = 1 bly die sein oor as sqrt(0.81) = 0.9 en die geraas verspreiding is sqrt(0.19) = 0.44. Stap: na stap 1, 0.949 x 1 plus geraas van verspreiding 0.316; na stap 2, krimpk alles weer met 0.949 en nuwe geraas van verspreiding 0.316 voeg by. Die verspreidings tel by as kwadrate: 0.949^2 x 0.1 + 0.1 = 0.19. Dieselfde antwoord.
Woorde en simbole in hierdie les
- geraaskedule (beta)
- hoeveel vars geraas word by elke stap bygemeng
- abar
- die deel van die oorspronklike sein wat oorbly na 'n aantal stappe (sy vierkantswortel vermenigvuldig x0)
- x0, x_t
- die skoon data, en dieselfde data na t stappe van geraas
- eps
- die klokkurwe-geraas wat bygevoeg is; die netwerk leer om dit te voorspel
Skryf walk(x0, t, beta, rng) (een stap teen 'n slag, t + 1 stappe vanaf stap 0 tot stap t) en jump(x0, t, abar, eps) (die kortpad). Maak dan 20000 kopieë van die punt (1.0, -0.5) tot stap 40 beide weë raserig en vul stats met elke weergawe se gemiddelde en spreiding (per koördinaat) langs wat die skedule sê hulle moet wees.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.