Vom Rauschen zur Spirale (DDPM)
Warum das wichtig ist Dies ist der Moment, in dem Rauschen zu Daten wird. Beginne mit reinem Rauschen und mache 100 kleine Schritte zurück, wobei jedes Mal das Netzwerk verwendet wird. Die Schleife, die du hier schreibst, ist in ihrer Form diejenige, die Bilder in den heutigen Bildgeneratoren zeichnet.
Ein Schritt zurück von x_t zu x_(t-1), auf die DDPM Weise:
- Vorhersage des Rauschens und daraus die saubere Schätzung x0 (letzte Lektion).
- Clip x0 auf den Bereich, den echte Daten haben können (hier -3 bis 3).
- Bewege dich zum exakten Durchschnitt von dort, wo x_(t-1) wäre, gegeben x_t und x0:
mean = (sqrt(abar_(t-1)) beta_t / (1 - abar_t)) x0 + (sqrt(1 - beta_t) (1 - abar_(t-1)) / (1 - abar_t)) x_t - Füge frisches Rauschen von spread
sqrt(beta_t (1 - abar_(t-1)) / (1 - abar_t))hinzu, außer im letzten Schritt. (abar_(-1) zählt als 1.)
Warum der Clip? Der Kurs hat es auf die harte Tour herausgefunden. In den letzten Schritten des cosine schedule erreicht beta 0.999, also multipliziert ein einfacher Schritt jeden Fehler im vorhergesagten noise etwa 30 mal. Ohne den clip zeichnete das Ziffernmodell des Kurses Bilder, die eher wie ungeordnete Pixel aussahen als wie Ziffern (Nähe 4.68). Mit ihm 1.09.
Wörter und Symbole in dieser Lektion
- noise schedule (beta)
- wie viel frisches Rauschen wird in jedem Schritt gemischt
- abar
- der Anteil des ursprünglichen Signals, der nach einer Anzahl von steps übrig bleibt (seine Wurzel multipliziert x0)
- x0, x_t
- die sauberen Daten und dieselben Daten nach t Schritten von Rauschen
- eps
- das Glockenkurven-Rauschen, das hinzugefügt wurde; das Netzwerk lernt, es vorherzusagen
- DDPM
- Sampling durch Rückschreiten durch jeden Schritt, mit neuem Rauschen jedes Mal
- on shape, coverage
- der 2D Richter: Anteil der Proben nahe der echten Form und Anteil der Form mit einer Probe nahe ihr
Schreibe step_back(x, eps_pred, t, beta, abar, rng) genau wie die vier Schritte oben (clip x0 auf -3 bis 3, der Mittelwert, dann das Rauschen außer bei t = 0) und die Sampling-Schleife generate(model, n, rng), die bei N(0, 1) Rauschen bei Schritt 99 beginnt und zurück zu 0 geht. Besteh mit Proben von mindestens 0.8 auf der Spirale und 0.95 Coverage.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.