Programma Les 186 van 246 · Module 17: Ruis erin, plaatjes eruit (diffusie)
Module 17: Ruis erin, plaatjes eruit (diffusie)

Ruisplanningen: een lagere verliesfunctie, slechtere samples

Waarom dit ertoe doet De loss is het getal waar je naar kijkt, dus het is verleidelijk om alles te kiezen wat het laagst maakt. Hier is dat instinct precies fout, en zien waarom leert je wat de loss meet.

Twee schema's voor dezelfde 100 stappen:

  • Linear (het originele DDPM paper): beta stijgt gelijkmatig van 0.0001 naar 0.02 x (1000 / T). Met slechts 100 stappen daalt abar snel: de meeste stappen zijn bijna pure ruis.
  • Cosine (Nichol and Dhariwal, 2021): abar volgt een cosinuscurve, dus het signaal vervaagt gelijkmatig over de stappen.

De cursus trainde beide op de spiraal, elk 3 zaden (difflab.recorded()).

Voorspel eerst: welke planning eindigt met de lagere training loss, en welke maakt samples die beter op de spiraal liggen?

Woorden en symbolen in deze les
noise schedule (beta)
hoeveel nieuwe ruis wordt bij elke stap gemengd in
abar
het deel van het originele signaal dat overblijft na een aantal stappen (zijn wortel vermenigvuldigt x0)
eps
de klokvormige ruis die is toegevoegd; het netwerk leert dit te voorspellen
DDPM
sampling door elke stap terug te nemen, met nieuwe ruis elke keer
on vorm, dekking
de 2D judge: aandeel van samples dicht bij de echte vorm, en aandeel van de vorm met een sample dichtbij
Jij bent aan de beurt

Zet guess voor beide vragen op "linear" of "cosine". Vul daarna table in met de gemiddelde eindverlies en de gemiddelde on-shape score van elk schema over de 3 opgenomen seeds, en noisy_share: voor elk schema het deel van de 100 stappen waar minder dan 10% van de variantie van het signaal overblijft (abar onder 0.1; de grootte van het signaal is sqrt(abar), ongeveer 0.32 daar). Stel tenslotte shows in, dezelfde twee vragen beantwoord vanuit je tabel. Je gok blijft zoals je hem hebt gemaakt.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.