Ruis toevoegen, stap voor stap
Waarom dit ertoe doet De beeldgeneratoren achter de AI kunst van vandaag werken achterwaarts vanaf ruis. Om te leren hoe je ruis verwijdert, moet een netwerk eerst precies zien hoe de ruis is toegevoegd. Die voorwaartse helft is pure rekenkunde, en het heeft een snelkoppeling die training mogelijk maakt.
Neem een schoon punt x0 (een pixelwaarde, of een punt in 2D). Bij elke stap van T = 100 verklein je het een beetje en voeg je een beetje nieuwe ruis toe:
x_t = sqrt(1 - beta_t) x_(t-1) + sqrt(beta_t) eps, met eps getrokken uit N(0, 1)
De lijst beta_0 ... beta_99 is de noise schedule. Kijk naar de scène: een spiraal van punten lost op in een ronde wolk van ruis.
De snelkoppeling
Het herhaaldelijk verkleinen en toevoegen van bell-curve noise is hetzelfde als het één keer doen met de totalen. Schrijf abar_t voor het product van alle (1 - beta) factoren tot stap t. Schrijf dan
x_t = sqrt(abar_t) x0 + sqrt(1 - abar_t) eps
In één keer: het signaal dat overblijft is sqrt(abar_t), de ruisspreiding is sqrt(1 - abar_t). Training kan direct naar elke step springen, in plaats van daarheen te lopen.
Tintalletjes
Twee stappen met beta = 0.1 elk: abar = 0.9 x 0.9 = 0.81. Van x0 = 1 blijft het signaal sqrt(0.81) = 0.9 en de ruisspreiding is sqrt(0.19) = 0.44. Wandelen: na stap 1, 0.949 x 1 plus ruis met spreiding 0.316; na stap 2, alles krimpt weer met 0.949 en nieuwe ruis met spreiding 0.316 komt eraan. De spreidingen tellen op als kwadraten: 0.949^2 x 0.1 + 0.1 = 0.19. Zelfde antwoord.
Woorden en symbolen in deze les
- noise schedule (beta)
- hoeveel nieuwe ruis wordt bij elke stap gemengd in
- abar
- het deel van het originele signaal dat overblijft na een aantal stappen (zijn wortel vermenigvuldigt x0)
- x0, x_t
- de schone data, en dezelfde data na t stappen van ruis
- eps
- de klokvormige ruis die is toegevoegd; het netwerk leert dit te voorspellen
Schrijf walk(x0, t, beta, rng) (één stap tegelijk, t + 1 stappen van stap 0 naar stap t) en jump(x0, t, abar, eps) (de snelkoppeling). Voeg daarna 20000 kopieën van het punt (1.0, -0.5) toe aan stap 40 in beide richtingen en vul stats met het gemiddelde en de spreiding (per coördinaat) van elke versie naast wat het schema zegt dat ze moeten zijn.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.