Programma Les 190 van 246 · Module 17: Ruis erin, plaatjes eruit (diffusie)
Module 17: Ruis erin, plaatjes eruit (diffusie)

Het sturen van het voorbeeld (classifier-free guidance)

Waarom dit ertoe doet "Teken een 7" werkt door één regel rekenkunde. Elk tekst-naar-beeld model gebruikt het om afbeeldingen te laten volgen aan de prompt, en dezelfde regel legt uit waarom het te ver verhogen de afbeeldingen slechter maakt.

Het cijfermodel is getraind met zijn label, en 15% van de tijd met het label verborgen (een "no label" token, difflab.NULL). Dus één netwerk kan de ruis beide manieren voorspellen. Classifier-free guidance (Ho and Salimans, 2022) mixt ze:

eps = (1 + w) eps_with_label - w eps_without_label

Het verschil eps_with_label - eps_without_label wijst naar "meer zoals dit label". w = 0 is gewone conditionele sampling; een grotere w duwt harder. Kijk naar de scène: dezelfde noise getrokken met w = 0, 1, 2 en 4.

Woorden en symbolen in deze les
eps
de klokvormige ruis die is toegevoegd; het netwerk leert dit te voorspellen
DDIM
sampling door te springen tussen een paar stappen, zonder nieuwe ruis
classifier-free guidance
(1 + w) x ruis voorspeld met het label - w x ruis voorspeld zonder het
Jij bent aan de beurt

Schrijf guided(model, x, t, labels, w). Vul daarna table in: voor w in 0, 1, 2 en 4, het aandeel van 500 samples (20 DDIM steps, waarvan de laatste les liet zien dat ze net zo goed zijn als 100 DDIM steps) die gelezen worden als de gevraagde cijfer, en hun nabijheid. Zet best_w op de w met de beste (laagste) nabijheid onder degenen die ten minste 0.99 gevraagde bereiken.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.