Rauschpläne: ein niedrigerer Verlust, schlechtere Samples
Warum das wichtig ist Der Verlust ist die Zahl, die du beobachtest, also ist es verlockend, das zu wählen, was ihn am niedrigsten macht. Hier ist dieser Instinkt genau falsch, und zu sehen warum, lehrt dich, was der Verlust misst.
Zwei Zeitpläne für dieselben 100 Schritte:
- Linear (das ursprüngliche DDPM-Paper): beta steigt gleichmäßig von 0.0001 bis 0.02 × (1000 / T). Mit nur 100 Schritten fällt abar schnell: Die meisten Schritte sind fast reines Rauschen.
- Kosinus (Nichol und Dhariwal, 2021): abar folgt einer Kosinuskurve, also verblasst das Signal gleichmäßig über die Schritte.
Der Kurs hat beide auf der Spirale trainiert, je 3 Seeds (difflab.recorded()).
Sag zuerst voraus: Welcher Zeitplan endet mit dem niedrigeren Trainingsverlust, und welcher macht Stichproben, die besser auf der Spirale liegen?
Wörter und Symbole in dieser Lektion
- Rauschplan (beta)
- wie viel frisches Rauschen bei jedem Schritt beigemischt wird
- abar
- der Anteil des ursprünglichen Signals, der nach einer Anzahl Schritte übrig ist (seine Quadratwurzel multipliziert x0)
- eps
- das hinzugefügte glockenförmige Rauschen; das Netz lernt, es vorherzusagen
- DDPM
- Stichproben ziehen, indem man durch jeden Schritt zurückgeht, jedes Mal mit frischem Rauschen
- auf der Form, Abdeckung
- der 2D-Richter: Anteil der Stichproben nahe der echten Form, und Anteil der Form mit einer Stichprobe in der Nähe
Setze guess für beide Fragen auf "linear" oder "cosine". Fülle dann table mit dem mittleren finalen loss und dem mittleren on-shape score jedes schedules über die 3 aufgezeichneten seeds aus, und noisy_share: für jedes schedule den Anteil der 100 steps, bei denen weniger als 10% der Varianz des signals übrig bleiben (abar unter 0.1; die Größe des signals ist sqrt(abar), etwa 0.32 dort). Setze schließlich shows, die gleichen zwei Fragen beantwortet aus deiner Tabelle. Dein Tipp bleibt so, wie du ihn gemacht hast.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.