Trucchi che a volte aiutano
Perché è importante Articoli e blog sulle GAN elencano decine di trucchi. La maggior parte è stata mostrata su una sola configurazione, spesso con un solo seed. Qui ne testi quattro sullo stesso collasso, su 8 seed registrati, e riferisci ciò che hai misurato, non ciò che hai letto.
I quattro trucchi, ognuno applicato alla GAN che collassa con 8 numeri di rumore:
- Label smoothing: a D si dice che i campioni veri sono veri a 0.8, non a 1, così non diventa mai troppo sicuro.
- Instance noise: si aggiunge un po' di rumore a ogni punto che D vede, che si riduce a 0 durante l'addestramento, così all'inizio veri e falsi si sovrappongono.
- Spectral norm: ogni matrice di pesi di D viene divisa per il suo allungamento più grande, così D non può reagire troppo bruscamente a piccoli cambiamenti.
- Equilibrio dei learning rate: G più lento di D (g_lr 2.5e-4) o più veloce (g_lr 3e-3).
Usa lo spirito del Modulo 9: una differenza conta solo quando è chiaramente più grande del rumore tra i seed. Confronta ogni trucco con l'esecuzione semplice seed per seed (stesso seed, a coppie):
- helped: media delle macchie più alta di almeno 1 E più macchie su almeno 6 degli 8 seed;
- hurt: media delle macchie più bassa di almeno 1 e meno macchie su almeno 6 seed, OPPURE media della qualità più bassa di almeno 0.25 e più bassa su almeno 6 seed (un generatore che tiene le sue macchie ma sparpaglia i punti non è stato aiutato);
- altrimenti no clear change.
Parole e simboli di questa lezione
- GAN
- rete generativa avversaria: un generatore e un discriminatore addestrati uno contro l'altro
- generatore (G)
- la rete che trasforma il rumore in un campione
- macchie coperte, qualità
- il giudice dell'anello: macchie con più del 2% dei punti, e la quota di punti su una macchia
- label smoothing
- addestrare D con etichette vere di 0.8 invece di 1
- instance noise
- rumore aggiunto a tutto ciò che D vede, che si riduce a 0 durante l'addestramento
- spectral norm
- dividere ogni matrice di pesi di D per il suo allungamento più grande
Scrivi verdict(trick) che restituisce "helped", "hurt" o "no clear change" dalle esecuzioni registrate. Poi riempi report con il tuo verdetto per ognuna delle cinque esecuzioni con trucco.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.