Trucs die soms helpen
Waarom dit ertoe doet GAN papers en blogposts noemen tientallen trucjes. De meeste werden getoond op één setup, vaak met één seed. Hier test je er vier op dezelfde collapse, over meer dan 8 opgenomen seeds, en rapporteer je wat je hebt gemeten, niet wat je hebt gelezen.
De vier trucjes, elk toegepast op de instortende GAN met 8 ruisnummers:
- Label smoothing: D krijgt te horen dat echte samples 0.8 echt zijn, niet 1, dus wordt het nooit te zeker.
- Instance noise: een beetje ruis wordt toegevoegd aan elk punt dat D ziet, wat krimpt naar 0 tijdens de training, zodat echt en nep in het begin overlappen.
- Spectral norm: elke D gewichtsmatrix wordt gedeeld door de grootste rek, dus D kan niet te scherp reageren op kleine veranderingen.
- Balans van de learning-rate: G langzamer dan D (g_lr 2.5e-4) of sneller (g_lr 3e-3).
Gebruik de geest van Module 9: een verschil telt alleen als het duidelijk groter is dan de ruis tussen de seeds. Vergelijk elke truc met de gewone run seed voor seed (dezelfde seed, gepaard):
- helped: gemiddelde blobs ten minste 1 hoger EN meer blobs op ten minste 6 van de 8 seeds;
- hurt: gemiddelde blobs tenminste 1 lager en minder op tenminste 6 seeds, OF gemiddelde kwaliteit tenminste 0.25 lager en lager op tenminste 6 seeds (een generator die zijn blobs behoudt maar zijn punten verspreidt is niet geholpen);
- anders geen duidelijke verandering.
Woorden en symbolen in deze les
- GAN
- generative adversarial network: een generator en een discriminator die tegen elkaar worden getraind
- generator (G)
- het netwerk dat ruis omzet in een sample
- blobs gedekt, kwaliteit
- de ringrechter: blobs met meer dan 2% van de punten, en het aandeel punten op een blob
- label smoothing
- training D op echte labels van 0.8 in plaats van 1
- instance noise
- noise toegevoegd aan alles wat D ziet, krimpt naar 0 over training
- spectral norm
- elke D weight matrix delen door de grootste stretch
Schrijf verdict(trick) met "helped", "hurt" of "no clear change" uit de opgenomen runs. Vul daarna report in met je oordeel voor elke van de vijf trick runs.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.