Ruisplanningen: een lagere verliesfunctie, slechtere samples
Waarom dit ertoe doet De loss is het getal waar je naar kijkt, dus het is verleidelijk om alles te kiezen wat het laagst maakt. Hier is dat instinct precies fout, en zien waarom leert je wat de loss meet.
Twee schema's voor dezelfde 100 stappen:
- Linear (het originele DDPM paper): beta stijgt gelijkmatig van 0.0001 naar 0.02 x (1000 / T). Met slechts 100 stappen daalt abar snel: de meeste stappen zijn bijna pure ruis.
- Cosine (Nichol and Dhariwal, 2021): abar volgt een cosinuscurve, dus het signaal vervaagt gelijkmatig over de stappen.
De cursus trainde beide op de spiraal, elk 3 zaden (difflab.recorded()).
Voorspel eerst: welke planning eindigt met de lagere training loss, en welke maakt samples die beter op de spiraal liggen?
Woorden en symbolen in deze les
- noise schedule (beta)
- hoeveel nieuwe ruis wordt bij elke stap gemengd in
- abar
- het deel van het originele signaal dat overblijft na een aantal stappen (zijn wortel vermenigvuldigt x0)
- eps
- de klokvormige ruis die is toegevoegd; het netwerk leert dit te voorspellen
- DDPM
- sampling door elke stap terug te nemen, met nieuwe ruis elke keer
- on vorm, dekking
- de 2D judge: aandeel van samples dicht bij de echte vorm, en aandeel van de vorm met een sample dichtbij
Zet guess voor beide vragen op "linear" of "cosine". Vul daarna table in met de gemiddelde eindverlies en de gemiddelde on-shape score van elk schema over de 3 opgenomen seeds, en noisy_share: voor elk schema het deel van de 100 stappen waar minder dan 10% van de variantie van het signaal overblijft (abar onder 0.1; de grootte van het signaal is sqrt(abar), ongeveer 0.32 daar). Stel tenslotte shows in, dezelfde twee vragen beantwoord vanuit je tabel. Je gok blijft zoals je hem hebt gemaakt.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.