Twee netwerken in een spel
Waarom dit ertoe doet Een VAE leert om afbeeldingen te herbouwen en betaalt daarvoor met onscherpte. Een GAN (generative adversarial network) herbouwt nooit iets. Eén netwerk maakt afbeeldingen, een tweede netwerk beoordeelt ze, en elk traint tegen de ander. Het is de gedachte achter de eerste gegenereerde gezichten die mensen bedroot.
De twee spelers:
- De generator G zet willekeurige ruis z om in een sample, G(z).
- De discriminator D kijkt naar een sample en geeft een score (een logit). sigmoid(score) is zijn overtuiging dat het sample echt is.
D traint als elke classifier: echte samples gelabeld als 1, gegenereerde als 0, binary cross-entropy. G traint om D te misleiden. Er zijn twee manieren om de loss van G te schrijven, en het verschil bepaalt of de training überhaupt begint:
- Saturating (het spel van het originele paper): G minimaliseert log(1 - D(G(z))).
- Non-saturating: G minimaliseert -log D(G(z)). Zelfde doel, "laat D zeggen dat het echt is".
Tintalletjes: de hellingen
Schrijf f voor de score van D op een fake, zodat D(G(z)) = sigmoid(f). De helling van elke loss ten opzichte van f is:
saturating: -sigmoid(f) non-saturating: sigmoid(f) - 1
Aan het begin van de training ziet D nepitems gemakkelijk: D(G(z)) = 0.001. De verzadigende helling is dan -0.001, bijna niets om van te leren. De niet-verzadigende helling is -0.999, een volledige duw. Dat is de theorie. De cursus mat wanneer dit ertoe doet: op de gezonde ring trainen beide verliezen (alle 8 opgenomen seeds); in een setting waar D wint, leert het verzadigende verlies niets.
Alle verliezen hier gebruiken log-sum-exp trucs zodat geen enkele logaritme ooit 0 ziet: log(sigmoid(f)) = -softplus(-f) en log(1 - sigmoid(f)) = -softplus(f), met softplus(a) = log(1 + e^a), berekend als np.logaddexp(0, a).
Woorden en symbolen in deze les
- GAN
- generative adversarial network: een generator en een discriminator die tegen elkaar worden getraind
- generator (G)
- het netwerk dat ruis omzet in een sample
- discriminator (D)
- het netwerk dat een sample als echt of gegenereerd scoort
- saturating loss
- G minimaliseert log(1 - D(G(z))); zijn helling is ongeveer 0 zodra D zeker is, dus stopt G met leren
Schrijf de drie losses als gemiddelden over een batch van scores: d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores) en g_loss_nonsat(fake_scores). Vul daarna slopes in: voor elke D(G(z)) in 0.001, 0.1 en 0.5, de helling van elke generator loss ten opzichte van de score van de fake (voor één sample).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.