Leren om de ruis te voorspellen
Waarom dit ertoe doet Het hele trainingsrecept voor een diffusion model past in vijf regels, en het is simpele regressie: laat het netwerk een ruisachtig punt en de step zien, vraag om de noise. Geen spel, geen tweede netwerk.
Eén trainingsstap:
- Neem een batch van echte punten x0 en, voor elk punt, een willekeurige stap t en nieuwe ruis eps.
- Ga naar x_t met de sneltoets.
- Vraag het netwerk naar de ruis:
model.predict(x_t, t). - Loss = gemiddelde van (predicted noise - eps) in het kwadraat.
- Achteruit, stap.
Roep de Curve op
Voordat je het uitvoert, gok je de loss op drie momenten: over de eerste 10 stappen, rond stap 300, en rond stap 3000. Twee ankers: een netwerk dat altijd 0 voorspelt krijgt precies 1 (de ruis is verspreid 1), en een perfect netwerk kan 0 niet bereiken, omdat de ruis bij zeer ruisige stappen makkelijk te voorspellen is maar bij bijna schone stappen bijna onmogelijk.
Waar het veld nu is Het voorspellen van de ruis is, tot op een schaal, hetzelfde als het schatten van de score: de richting waarin de ruisige data waarschijnlijker wordt (Song and Ermon 2019; Ho et al. 2020). Daarom wijzen de pijlen naar huis. Echte beeldgeneratoren voegen geen ruis toe aan pixels: ze persen elk beeld eerst met een autoencoder, zoals in Module 15, en voeren diffusie uit op de kleine codes (latent diffusion, Rombach et al. 2022). Alles in deze module blijft hetzelfde; alleen de ruimte verandert.
Woorden en symbolen in deze les
- diffusion model
- een netwerk getraind om ruis stap voor stap te verwijderen; draai het terug vanaf pure ruis, het genereert
- x0, x_t
- de schone data, en dezelfde data na t stappen van ruis
- eps
- de klokvormige ruis die is toegevoegd; het netwerk leert dit te voorspellen
- on vorm, dekking
- de 2D judge: aandeel van samples dicht bij de echte vorm, en aandeel van de vorm met een sample dichtbij
Vul my_guess in, schrijf dan de body van de loop (3000 stappen van 256 spiraalpunten; difflab.shape('spiral', 256, rng), difflab.add_noise). Voeg de loss van elke stap toe aan losses. Sla door met een finale loss onder 0.40 en samples van ten minste 0.75 op shape.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.