Lehrplan Lektion 179 von 246 · Modul 16: Zwei Netzwerke in einem Spiel (GANs, optional)
Modul 16: Zwei Netzwerke in einem Spiel (GANs, optional)

Tricks, die manchmal helfen

Warum das wichtig ist GAN papers und blog posts listen Dutzende von Tricks auf. Die meisten wurden in einem Setup gezeigt, oft mit einem seed. Hier testest du vier davon auf demselben collapse, über 8 aufgezeichnete seeds, und berichtest, was du gemessen hast, nicht was du gelesen hast.

Die vier Tricks, jeder angewendet auf das kollabierende GAN mit 8 Rauschzahlen:

  • Label smoothing: D wird gesagt, dass echte Samples 0.8 real sind, nicht 1, also wird es nie zu sicher.
  • Instanzrauschen: ein wenig Rauschen wird zu jedem Punkt hinzugefügt, den D sieht, und schrumpft während des Trainings auf 0, sodass echtes und falsches zu Beginn überlappen.
  • Spectral norm: jede D weight matrix wird durch ihre größte Streckung geteilt, also kann D nicht zu scharf auf kleine Änderungen reagieren.
  • Lernraten-Balance: G langsamer als D (g_lr 2.5e-4) oder schneller (g_lr 3e-3).

Nutze den Geist von Modul 9: ein Unterschied zählt nur, wenn er deutlich größer als das Rauschen zwischen den Seeds ist. Vergleiche jeden Trick mit dem einfachen Durchlauf Seed für Seed (gleicher Seed, gepaart):

  • helped: mittlere Blobs mindestens 1 höher UND mehr Blobs auf mindestens 6 der 8 Seeds;
  • hurt: mittlere Blobs mindestens 1 niedriger und weniger auf mindestens 6 Seeds, ODER mittlere Qualität mindestens 0.25 niedriger und niedriger auf mindestens 6 Seeds (ein Generator, der seine Blobs behält, aber seine Punkte verstreut, wurde nicht geholfen);
  • sonst keine klare Änderung.
Wörter und Symbole in dieser Lektion
GAN
generatives gegnerisches Netzwerk: ein Generator und ein Diskriminator werden gegeneinander trainiert
generator (G)
das Netzwerk, das Rauschen in eine Probe verwandelt
blobs abgedeckt, Qualität
der Ringrichter: Blobs mit mehr als 2% der Punkte und der Anteil der Punkte auf einem Blob
label smoothing
training D auf echten Labels von 0.8 statt 1
instanzrauschen
noise wird zu allem hinzugefügt, was D sieht, und schrumpft während des Trainings auf 0
spektrale Norm
jede D weight matrix durch ihren größten Stretch dividieren
Du bist dran

Schreibe verdict(trick) und gib "helped", "hurt" oder "no clear change" aus den aufgezeichneten Durchläufen zurück. Fülle dann report mit deinem Urteil für jeden der fünf Trick-Durchläufe.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.