Kurrikulum Leson 176 van 246 · Module 16: Twee netwerke in 'n speletjie (GANs, opsioneel)
Module 16: Twee netwerke in 'n speletjie (GANs, opsioneel)

Twee netwerke in 'n speletjie

Waarom dit saak maak 'n VAE leer om prente te herbou en betaal daarvoor met vervaging. 'n GAN (generative adversarial network) herbou nooit enigiets nie. Een netwerk maak prente, 'n tweede een beoordeel hulle, en elkeen oefen teen die ander. Dit is die idee agter die eerste gegenereerde gesigte wat mense mislei het.

Die twee spelers:

  • Die generator G verander willeke geraas z in 'n voorbeeld, G(z).
  • Die discriminator D kyk na 'n voorbeeld en gee 'n telling ( 'n logit). sigmoid(score) is sy oortuiging dat die voorbeeld werklik is.

train soos enige klassifiseerder: werklike voorbeelde gemerk as 1, gegenereerde voorbeelde gemerk as 0, binêre kruisentropie. G train om D te bedrieg. Daar is twee maniere om G se verlies te skryf, en die verskil besluit of die opleiding al begin:

  • Saturating (die oorspronklike dokument se spel): G minimaliseer log(1 - D(G(z))).
  • Nie-verstikkende: G minimaliseer -log D(G(z)). Dieselfde doel, "maak D sê dit is werklik".

Klein getalle: die hellings

Skryf f vir D se telling op 'n vervalsing, sodat D(G(z)) = sigmoid(f). Die helling van elke verlies met betrekking tot f is:

saturerend: -sigmoid(f)    nie-saturerend: sigmoid(f) - 1

Vroeg in opleiding sien D maklik fakes: D(G(z)) = 0.001. Die saturende helling is dan -0.001, amper niks om uit te leer nie. Die nie-saturende helling is -0.999, 'n vol stoot. Dit is die teorie. Die kursus het gemeet wanneer dit saak maak: op die gesonde ring lei albei losses op (al 8 aangetekende seeds); in 'n opstelling waar D wen, leer die saturende loss niks nie.

Alle verliese hier gebruik log-sum-exp trucs sodat geen logaritme ooit 0 sien: log(sigmoid(f)) = -softplus(-f) en log(1 - sigmoid(f)) = -softplus(f), met softplus(a) = log(1 + e^a), bereken as np.logaddexp(0, a).

Woorde en simbole in hierdie les
GAN
generatiewe teenstrewige netwerk: 'n generator en 'n discriminator wat teen mekaar opgelei is
generator (G)
die netwerk wat geraas in 'n voorbeeld verander
diskrimineerder (D)
die netwerk wat 'n monster as werklik of gegenereer merk
saturerende verlies
G verminder log(1 - D(G(z))); sy helling is ongeveer 0 sodat D seker is, so G hou op om te leer
Jou beurt

Skryf die drie losses as gemiddeltes oor 'n batch van punte: d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores) en g_loss_nonsat(fake_scores). Vul dan slopes in: vir elke D(G(z)) in 0.001, 0.1 en 0.5, die helling van elke generator loss met betrekking tot die fake se punt (vir een voorbeeld).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.