Twee netwerke in 'n speletjie
Waarom dit saak maak 'n VAE leer om prente te herbou en betaal daarvoor met vervaging. 'n GAN (generative adversarial network) herbou nooit enigiets nie. Een netwerk maak prente, 'n tweede een beoordeel hulle, en elkeen oefen teen die ander. Dit is die idee agter die eerste gegenereerde gesigte wat mense mislei het.
Die twee spelers:
- Die generator G verander willeke geraas z in 'n voorbeeld, G(z).
- Die discriminator D kyk na 'n voorbeeld en gee 'n telling ( 'n logit). sigmoid(score) is sy oortuiging dat die voorbeeld werklik is.
train soos enige klassifiseerder: werklike voorbeelde gemerk as 1, gegenereerde voorbeelde gemerk as 0, binêre kruisentropie. G train om D te bedrieg. Daar is twee maniere om G se verlies te skryf, en die verskil besluit of die opleiding al begin:
- Saturating (die oorspronklike dokument se spel): G minimaliseer log(1 - D(G(z))).
- Nie-verstikkende: G minimaliseer -log D(G(z)). Dieselfde doel, "maak D sê dit is werklik".
Klein getalle: die hellings
Skryf f vir D se telling op 'n vervalsing, sodat D(G(z)) = sigmoid(f). Die helling van elke verlies met betrekking tot f is:
saturerend: -sigmoid(f) nie-saturerend: sigmoid(f) - 1
Vroeg in opleiding sien D maklik fakes: D(G(z)) = 0.001. Die saturende helling is dan -0.001, amper niks om uit te leer nie. Die nie-saturende helling is -0.999, 'n vol stoot. Dit is die teorie. Die kursus het gemeet wanneer dit saak maak: op die gesonde ring lei albei losses op (al 8 aangetekende seeds); in 'n opstelling waar D wen, leer die saturende loss niks nie.
Alle verliese hier gebruik log-sum-exp trucs sodat geen logaritme ooit 0 sien: log(sigmoid(f)) = -softplus(-f) en log(1 - sigmoid(f)) = -softplus(f), met softplus(a) = log(1 + e^a), bereken as np.logaddexp(0, a).
Woorde en simbole in hierdie les
- GAN
- generatiewe teenstrewige netwerk: 'n generator en 'n discriminator wat teen mekaar opgelei is
- generator (G)
- die netwerk wat geraas in 'n voorbeeld verander
- diskrimineerder (D)
- die netwerk wat 'n monster as werklik of gegenereer merk
- saturerende verlies
- G verminder log(1 - D(G(z))); sy helling is ongeveer 0 sodat D seker is, so G hou op om te leer
Skryf die drie losses as gemiddeltes oor 'n batch van punte: d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores) en g_loss_nonsat(fake_scores). Vul dan slopes in: vir elke D(G(z)) in 0.001, 0.1 en 0.5, die helling van elke generator loss met betrekking tot die fake se punt (vir een voorbeeld).
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.