Programma Lezione 179 di 246 · Modulo 16: Due reti in una partita (GAN, facoltativo)
Modulo 16: Due reti in una partita (GAN, facoltativo)

Trucchi che a volte aiutano

Perché è importante Articoli e blog sulle GAN elencano decine di trucchi. La maggior parte è stata mostrata su una sola configurazione, spesso con un solo seed. Qui ne testi quattro sullo stesso collasso, su 8 seed registrati, e riferisci ciò che hai misurato, non ciò che hai letto.

I quattro trucchi, ognuno applicato alla GAN che collassa con 8 numeri di rumore:

  • Label smoothing: a D si dice che i campioni veri sono veri a 0.8, non a 1, così non diventa mai troppo sicuro.
  • Instance noise: si aggiunge un po' di rumore a ogni punto che D vede, che si riduce a 0 durante l'addestramento, così all'inizio veri e falsi si sovrappongono.
  • Spectral norm: ogni matrice di pesi di D viene divisa per il suo allungamento più grande, così D non può reagire troppo bruscamente a piccoli cambiamenti.
  • Equilibrio dei learning rate: G più lento di D (g_lr 2.5e-4) o più veloce (g_lr 3e-3).

Usa lo spirito del Modulo 9: una differenza conta solo quando è chiaramente più grande del rumore tra i seed. Confronta ogni trucco con l'esecuzione semplice seed per seed (stesso seed, a coppie):

  • helped: media delle macchie più alta di almeno 1 E più macchie su almeno 6 degli 8 seed;
  • hurt: media delle macchie più bassa di almeno 1 e meno macchie su almeno 6 seed, OPPURE media della qualità più bassa di almeno 0.25 e più bassa su almeno 6 seed (un generatore che tiene le sue macchie ma sparpaglia i punti non è stato aiutato);
  • altrimenti no clear change.
Parole e simboli di questa lezione
GAN
rete generativa avversaria: un generatore e un discriminatore addestrati uno contro l'altro
generatore (G)
la rete che trasforma il rumore in un campione
macchie coperte, qualità
il giudice dell'anello: macchie con più del 2% dei punti, e la quota di punti su una macchia
label smoothing
addestrare D con etichette vere di 0.8 invece di 1
instance noise
rumore aggiunto a tutto ciò che D vede, che si riduce a 0 durante l'addestramento
spectral norm
dividere ogni matrice di pesi di D per il suo allungamento più grande
Tocca a te

Scrivi verdict(trick) che restituisce "helped", "hurt" o "no clear change" dalle esecuzioni registrate. Poi riempi report con il tuo verdetto per ognuna delle cinque esecuzioni con trucco.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.