Zwei Netzwerke in einem Spiel
Warum das wichtig ist Ein VAE lernt, Bilder zu rekonstruieren und bezahlt das mit Unschärfe. Ein GAN (generative adversarial network) rekonstruiert nie etwas. Ein Netzwerk erstellt Bilder, ein zweites beurteilt sie, und jedes trainiert gegen das andere. Es ist die Idee hinter den ersten generierten Gesichtern, die Menschen täuschten.
Die zwei Spieler:
- Der generator G verwandelt zufälliges Rauschen z in eine Probe, G(z).
- Der discriminator D schaut sich ein Beispiel an und gibt einen Score (einen logit) an. sigmoid(score) ist sein Glaube, dass das Beispiel echt ist.
trainet wie jeder Klassifikator: echte Proben markiert mit 1, generierte mit 0, binary cross-entropy. G trainiert, um D zu täuschen. Es gibt zwei Wege, den Loss von G zu schreiben, und der Unterschied entscheidet, ob das Training überhaupt startet:
- Saturating (das Spiel des Original-Papers): G minimiert log(1 - D(G(z))).
- Non-saturating: G minimiert -log D(G(z)). Gleiches Ziel, "D dazu bringen, real zu sagen".
Kleine Zahlen: the slopes
Schreibe f für D's Score auf einem Fake, so dass D(G(z)) = sigmoid(f). Die Steigung jedes Verlusts in Bezug auf f ist:
saturierend: -sigmoid(f) nicht-saturierend: sigmoid(f) - 1
Früh im Training erkennt D leicht Fälschungen: D(G(z)) = 0.001. Die sättigende Steigung ist dann -0.001, fast nichts zu lernen. Die nicht sättigende Steigung ist -0.999, ein voller Schub. Das ist die Theorie. Der Kurs maß, warum das wichtig ist: auf dem gesunden Ring trainieren beide Verluste (alle 8 aufgezeichneten seeds); in einer Einstellung, in der D gewinnt, lernt der sättigende Verlust nichts.
Alle Verluste hier nutzen log-sum-exp Tricks, damit kein Logarithmus jemals 0 sieht: log(sigmoid(f)) = -softplus(-f) und log(1 - sigmoid(f)) = -softplus(f), wobei softplus(a) = log(1 + e^a) als np.logaddexp(0, a).
Wörter und Symbole in dieser Lektion
- GAN
- generatives gegnerisches Netzwerk: ein Generator und ein Diskriminator werden gegeneinander trainiert
- generator (G)
- das Netzwerk, das Rauschen in eine Probe verwandelt
- discriminator (D)
- das Netzwerk, das eine Probe als echt oder generiert bewertet
- sättigender Verlust
- G minimiert log(1 - D(G(z))); seine Steigung ist etwa 0, sobald D sicher ist, also hört G auf zu lernen
Schreibe die drei Verluste als Durchschnitte über einen Batch von Scores: d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores) und g_loss_nonsat(fake_scores). Fülle dann slopes: für jedes D(G(z)) in 0.001, 0.1 und 0.5, die Steigung jedes Generatorverlustes in Bezug auf den Score des Fake (für eine Probe).
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.