Programma Les 179 van 246 · Module 16: Twee netwerken in een spel (GANs, optioneel)
Module 16: Twee netwerken in een spel (GANs, optioneel)

Trucs die soms helpen

Waarom dit ertoe doet GAN papers en blogposts noemen tientallen trucjes. De meeste werden getoond op één setup, vaak met één seed. Hier test je er vier op dezelfde collapse, over meer dan 8 opgenomen seeds, en rapporteer je wat je hebt gemeten, niet wat je hebt gelezen.

De vier trucjes, elk toegepast op de instortende GAN met 8 ruisnummers:

  • Label smoothing: D krijgt te horen dat echte samples 0.8 echt zijn, niet 1, dus wordt het nooit te zeker.
  • Instance noise: een beetje ruis wordt toegevoegd aan elk punt dat D ziet, wat krimpt naar 0 tijdens de training, zodat echt en nep in het begin overlappen.
  • Spectral norm: elke D gewichtsmatrix wordt gedeeld door de grootste rek, dus D kan niet te scherp reageren op kleine veranderingen.
  • Balans van de learning-rate: G langzamer dan D (g_lr 2.5e-4) of sneller (g_lr 3e-3).

Gebruik de geest van Module 9: een verschil telt alleen als het duidelijk groter is dan de ruis tussen de seeds. Vergelijk elke truc met de gewone run seed voor seed (dezelfde seed, gepaard):

  • helped: gemiddelde blobs ten minste 1 hoger EN meer blobs op ten minste 6 van de 8 seeds;
  • hurt: gemiddelde blobs tenminste 1 lager en minder op tenminste 6 seeds, OF gemiddelde kwaliteit tenminste 0.25 lager en lager op tenminste 6 seeds (een generator die zijn blobs behoudt maar zijn punten verspreidt is niet geholpen);
  • anders geen duidelijke verandering.
Woorden en symbolen in deze les
GAN
generative adversarial network: een generator en een discriminator die tegen elkaar worden getraind
generator (G)
het netwerk dat ruis omzet in een sample
blobs gedekt, kwaliteit
de ringrechter: blobs met meer dan 2% van de punten, en het aandeel punten op een blob
label smoothing
training D op echte labels van 0.8 in plaats van 1
instance noise
noise toegevoegd aan alles wat D ziet, krimpt naar 0 over training
spectral norm
elke D weight matrix delen door de grootste stretch
Jij bent aan de beurt

Schrijf verdict(trick) met "helped", "hurt" of "no clear change" uit de opgenomen runs. Vul daarna report in met je oordeel voor elke van de vijf trick runs.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.