Lehrplan Lektion 178 von 246 · Modul 16: Zwei Netzwerke in einem Spiel (GANs, optional)
Modul 16: Zwei Netzwerke in einem Spiel (GANs, optional)

Modus-Kollaps, absichtlich

Warum das wichtig ist Der häufigste GAN-Fehlschlag sieht aus wie ein Erfolg: jedes Beispiel ist scharf und überzeugend, aber sie sind alle fast gleich. Es wird mode collapse genannt (jeder Klumpen ist ein "Modus" der Daten). Du kannst nichts beheben, was du nicht passieren lassen kannst, also lässt du es hier passieren.

Warum das wichtig ist: G muss nur das heutige D täuschen. Wenn ein Blob D am besten täuscht, legt G alles dort ab. D lernt, dass dieser Blob verdächtig ist, G springt zu einem anderen, und die beiden können sich im Kreis jagen, ohne dass G sich jemals verteilt.

ganlab.train(...) trainet dasselbe GAN wie in der letzten Lektion mit einer dieser Einstellungen: noise (wie viele Rauschzahlen G erhält, standardmäßig 2), d_steps (D's steps pro G step, 1), g_lr und d_lr (jeweils 1e-3), loss, smooth, instance_noise, spectral. Die aufgezeichneten Durchläufe, ganlab.recorded(), zeigen einige Einstellungen über 8 seeds.

Collapse bedeutet wenige Blobs UND scharfe Punkte. Ein Generator, der Punkte überall verteilt, deckt ebenfalls wenige Blobs ab, aber das ist ein anderer Fehler: er hat die Blobs überhaupt nicht gelernt.

Wörter und Symbole in dieser Lektion
GAN
generatives gegnerisches Netzwerk: ein Generator und ein Diskriminator, die gegeneinander trainiert werden
generator (G)
das Netzwerk, das Rauschen in eine Probe verwandelt
modus zusammengebrochen
der Generator erstellt nur wenige Arten von Proben, jede davon überzeugend
blobs abgedeckt, Qualität
der Ringrichter: Blobs mit mehr als 2% der Punkte und der Anteil der Punkte auf einem Blob
Du bist dran

Finde Einstellungen, mit denen das GAN bei Seed 0 kollabiert: höchstens 3 abgedeckte Kleckse, bei einer Qualität von mindestens 0.6. Schreib sie in settings. Damit jeder Versuch kurz bleibt, trainiert diese Lektion 1000 Schritte mit einer Lernrate von 0.002 (schon für dich eingestellt; der Kollaps, den sie zeigt, ist derselbe wie bei 2000 Schritten). Ändere nur die eigenen Einstellungen des GAN (noise, d_steps bis 3, loss, smooth, instance_noise, spectral); Seed, Schritte und Lernraten bleiben wie vorgegeben. Setz dann looks_like auf den Buchstaben, der den Kollaps beschreibt.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.