Programma Les 178 van 246 · Module 16: Twee netwerken in een spel (GANs, optioneel)
Module 16: Twee netwerken in een spel (GANs, optioneel)

Mode collapse, opzettelijk

Waarom dit ertoe doet De meest voorkomende GAN-fout lijkt op succes: elk sample is scherp en overtuigend, maar ze zijn bijna allemaal hetzelfde. Het wordt mode collapse genoemd (elke blob is een "mode" van de data). Je kunt niet repareren wat je niet kunt laten gebeuren, dus hier laat je het gebeuren.

Waarom dit ertoe doet: G hoeft alleen maar de D van vandaag te foppen. Als één blob D het beste fopt, zet G alles daar. D leert dat die blob verdacht is, G springt naar een andere, en de twee kunnen elkaar rond de ring achtervolgen zonder dat G zich ooit verspreidt.

ganlab.train(...) traint dezelfde GAN als de vorige les met een van deze instellingen: noise (hoeveel ruisnummers G krijgt, standaard 2), d_steps (D's stappen per G stap, 1), g_lr en d_lr (elk 1e-3), loss, smooth, instance_noise, spectral. De opgenomen runs, ganlab.recorded(), tonen enkele instellingen over 8 seeds.

Collapse betekent weinig blobs EN scherpe punten. Een generator die punten overal verspreidt dekt ook weinig blobs af, maar dat is een andere fout: het heeft de blobs helemaal niet geleerd.

Woorden en symbolen in deze les
GAN
generative adversarial network: een generator en een discriminator die tegen elkaar worden getraind
generator (G)
het netwerk dat ruis omzet in een sample
mode collapse
de generator maakt slechts een paar soorten samples, elk overtuigend
blobs gedekt, kwaliteit
de ringrechter: blobs met meer dan 2% van de punten, en het aandeel punten op een blob
Jij bent aan de beurt

Zoek instellingen waarmee de GAN op seed 0 instort: hoogstens 3 vlekken gedekt, met een kwaliteit van minstens 0.6. Zet ze in settings. Om elke poging kort te houden, traint deze les 1000 stappen met een leertempo van 0.002 (al voor je ingesteld; de instorting die je ziet is dezelfde als bij 2000 stappen). Verander alleen de eigen instellingen van de GAN (noise, d_steps tot 3, loss, smooth, instance_noise, spectral); de seed, de stappen en de leertempo's blijven zoals gegeven. Zet daarna looks_like op de letter die instorting beschrijft.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.