Programma Lezione 176 di 246 · Modulo 16: Due reti in una partita (GAN, facoltativo)
Modulo 16: Due reti in una partita (GAN, facoltativo)

Due reti in una partita

Perché è importante Un VAE impara a ricostruire immagini e lo paga con la sfocatura. Una GAN (rete generativa avversaria) non ricostruisce mai niente. Una rete crea immagini, una seconda le giudica, e ognuna si addestra contro l'altra. È l'idea dietro i primi volti generati che hanno ingannato le persone.

I due giocatori:

  • Il generatore G trasforma rumore casuale z in un campione, G(z).
  • Il discriminatore D guarda un campione e dà un punteggio (un logit). sigmoid(score) è la sua convinzione che il campione sia vero.

D si addestra come qualsiasi classificatore: campioni veri etichettati 1, quelli generati etichettati 0, cross-entropy binaria. G si addestra a ingannare D. Ci sono due modi di scrivere la loss di G, e la differenza decide se l'addestramento parte o no:

  • Saturante (la partita dell'articolo originale): G minimizza log(1 - D(G(z))).
  • Non saturante: G minimizza -log D(G(z)). Stesso obiettivo, "fai dire a D che è vero".

Numeri piccolissimi: le pendenze

Chiama f il punteggio di D su un falso, così D(G(z)) = sigmoid(f). La pendenza di ogni loss rispetto a f è:

saturante: -sigmoid(f)    non saturante: sigmoid(f) - 1

All'inizio dell'addestramento D riconosce facilmente i falsi: D(G(z)) = 0.001. La pendenza saturante è allora -0.001, quasi niente da cui imparare. La pendenza non saturante è -0.999, una spinta piena. Questa è la teoria. Il corso ha misurato quando conta: sull'anello sano entrambe le loss addestrano (tutti gli 8 seed registrati); in un'impostazione in cui D vince, la loss saturante non impara niente.

Tutte le loss qui usano trucchi log-sum-exp così nessun logaritmo vede mai 0: log(sigmoid(f)) = -softplus(-f) e log(1 - sigmoid(f)) = -softplus(f), con softplus(a) = log(1 + e^a), calcolato come np.logaddexp(0, a).

Parole e simboli di questa lezione
GAN
rete generativa avversaria: un generatore e un discriminatore addestrati uno contro l'altro
generatore (G)
la rete che trasforma il rumore in un campione
discriminatore (D)
la rete che giudica un campione come vero o generato
loss saturante
G minimizza log(1 - D(G(z))); la sua pendenza è circa 0 quando D è sicuro, quindi G smette di imparare
Tocca a te

Scrivi le tre loss come medie su un batch di punteggi: d_loss(real_scores, fake_scores), g_loss_saturating(fake_scores) e g_loss_nonsat(fake_scores). Poi riempi slopes: per ogni D(G(z)) tra 0.001, 0.1 e 0.5, la pendenza di ogni loss del generatore rispetto al punteggio del falso (per un campione).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.