Lehrplan Lektion 176 von 246 · Modul 16: Zwei Netzwerke in einem Spiel (GANs, optional)
Modul 16: Zwei Netzwerke in einem Spiel (GANs, optional)

Zwei Netzwerke in einem Spiel

Warum das wichtig ist Ein VAE lernt, Bilder zu rekonstruieren und bezahlt das mit Unschärfe. Ein GAN (generative adversarial network) rekonstruiert nie etwas. Ein Netzwerk erstellt Bilder, ein zweites beurteilt sie, und jedes trainiert gegen das andere. Es ist die Idee hinter den ersten generierten Gesichtern, die Menschen täuschten.

Die zwei Spieler:

  • Der generator G verwandelt zufälliges Rauschen z in eine Probe, G(z).
  • Der discriminator D schaut sich ein Beispiel an und gibt einen Score (einen logit) an. sigmoid(score) ist sein Glaube, dass das Beispiel echt ist.

trainet wie jeder Klassifikator: echte Proben markiert mit 1, generierte mit 0, binary cross-entropy. G trainiert, um D zu täuschen. Es gibt zwei Wege, den Loss von G zu schreiben, und der Unterschied entscheidet, ob das Training überhaupt startet:

  • Saturating (das Spiel des Original-Papers): G minimiert log(1 - D(G(z))).
  • Non-saturating: G minimiert -log D(G(z)). Gleiches Ziel, "D dazu bringen, real zu sagen".

Kleine Zahlen: the slopes

Schreibe f für D's Score auf einem Fake, so dass D(G(z)) = sigmoid(f). Die Steigung jedes Verlusts in Bezug auf f ist:

saturierend: -sigmoid(f)    nicht-saturierend: sigmoid(f) - 1

Früh im Training erkennt D leicht Fälschungen: D(G(z)) = 0.001. Die sättigende Steigung ist dann -0.001, fast nichts zu lernen. Die nicht sättigende Steigung ist -0.999, ein voller Schub. Das ist die Theorie. Der Kurs maß, warum das wichtig ist: auf dem gesunden Ring trainieren beide Verluste (alle 8 aufgezeichneten seeds); in einer Einstellung, in der D gewinnt, lernt der sättigende Verlust nichts.

Alle Verluste hier nutzen log-sum-exp Tricks, damit kein Logarithmus jemals 0 sieht: log(sigmoid(f)) = -softplus(-f) und log(1 - sigmoid(f)) = -softplus(f), wobei softplus(a) = log(1 + e^a) als np.logaddexp(0, a).

berechnet wird.
Wörter und Symbole in dieser Lektion
GAN
generatives gegnerisches Netzwerk: ein Generator und ein Diskriminator werden gegeneinander trainiert
generator (G)
das Netzwerk, das Rauschen in eine Probe verwandelt
discriminator (D)
das Netzwerk, das eine Probe als echt oder generiert bewertet
sättigender Verlust
G minimiert log(1 - D(G(z))); seine Steigung ist etwa 0, sobald D sicher ist, also hört G auf zu lernen
Du bist dran

Schreibe die drei Verluste als Durchschnitte über einen Batch von Scores: d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores) und g_loss_nonsat(fake_scores). Fülle dann slopes: für jedes D(G(z)) in 0.001, 0.1 und 0.5, die Steigung jedes Generatorverlustes in Bezug auf den Score des Fake (für eine Probe).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.