Programma Lezione 178 di 246 · Modulo 16: Due reti in una partita (GAN, facoltativo)
Modulo 16: Due reti in una partita (GAN, facoltativo)

Collasso dei modi, apposta

Perché è importante Il guasto più comune delle GAN sembra un successo: ogni campione è nitido e convincente, ma sono tutti quasi uguali. Si chiama collasso dei modi (ogni macchia è un "modo" dei dati). Non puoi correggere ciò che non sai far succedere, quindi qui lo fai succedere.

Perché succede: G deve ingannare solo il D di oggi. Se una macchia inganna D meglio delle altre, G mette tutto lì. D impara che quella macchia è sospetta, G salta su un'altra, e i due possono inseguirsi intorno all'anello senza che G si allarghi mai.

ganlab.train(...) addestra la stessa GAN della lezione precedente con una qualsiasi di queste impostazioni: noise (quanti numeri di rumore riceve G, 2 di default), d_steps (passi di D per ogni passo di G, 1), g_lr e d_lr (1e-3 ciascuno), loss, smooth, instance_noise, spectral. Le esecuzioni registrate, ganlab.recorded(), mostrano alcune impostazioni su 8 seed.

Collasso significa poche macchie E punti nitidi. Anche un generatore che sparpaglia punti dappertutto copre poche macchie, ma è un guasto diverso: non ha mai imparato le macchie.

Parole e simboli di questa lezione
GAN
rete generativa avversaria: un generatore e un discriminatore addestrati uno contro l'altro
generatore (G)
la rete che trasforma il rumore in un campione
collasso dei modi
il generatore crea solo pochi tipi di campione, ognuno convincente
macchie coperte, qualità
il giudice dell'anello: macchie con più del 2% dei punti, e la quota di punti su una macchia
Tocca a te

Trova impostazioni che fanno collassare la GAN sul seed 0: al massimo 3 macchie coperte, con qualità almeno 0.6. Mettile in settings. Per tenere breve ogni tentativo, questa lezione addestra per 1000 passi con un learning rate di 0.002 (impostato per te; il collasso che mostra è lo stesso che a 2000 passi). Cambia solo le impostazioni della GAN (noise, d_steps fino a 3, loss, smooth, instance_noise, spectral); seed, passi e learning rate restano quelli dati. Poi imposta looks_like sulla lettera che descrive il collasso.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.