Programma Lezione 177 di 246 · Modulo 16: Due reti in una partita (GAN, facoltativo)
Modulo 16: Due reti in una partita (GAN, facoltativo)

La partita su otto macchie

Perché è importante Le immagini nascondono che cosa sbaglia una GAN. I punti in 2D no: vedi subito quali parti dei dati il generatore ha trovato e quali ha mancato.

I dati veri: 8 macchie strette su un cerchio. Un buon generatore mette punti su tutte le 8 macchie, più o meno in parti uguali. Il giudice, ganlab.coverage(points), dà due numeri: macchie coperte (una macchia conta quando riceve più del 2% dei punti) e qualità (la quota di punti che cade su una qualsiasi macchia).

Guarda la scena: le macchie vere, poi dove cadono i punti di un generatore addestrato, poi un generatore collassato.

Un passo di addestramento ha due metà:

  1. Il turno di D. Un batch di punti veri (ganlab.ring(128, rng)) e un batch di falsi. Prendi i falsi come semplici numeri (.data) così il passo di D non arriva dentro G. Loss = BCE(score(real), 1) + BCE(score(fake), 0). Fai un passo di D.
  2. Il turno di G. Nuovo rumore, genera, dai il punteggio con D, loss = BCE(score, 1): la loss non saturante. Fai un passo di G. Questo backward ha riempito anche i gradienti di D; rimettili a None, altrimenti finiscono nel prossimo passo di D.

Le GAN usano Adam con il primo beta a 0.5 (l'Adam di casa accetta b1). Il corso ha misurato perché: con il default 0.9 la stessa GAN copriva tra 1 e 7 macchie su 5 seed, con 0.5 ne copriva 7 o 8.

Parole e simboli di questa lezione
GAN
rete generativa avversaria: un generatore e un discriminatore addestrati uno contro l'altro
generatore (G)
la rete che trasforma il rumore in un campione
loss saturante
G minimizza log(1 - D(G(z))); la sua pendenza è circa 0 quando D è sicuro, quindi G smette di imparare
loss non saturante
G minimizza -log D(G(z)); stesso obiettivo, una spinta piena anche quando D è sicuro
macchie coperte, qualità
il giudice dell'anello: macchie con più del 2% dei punti, e la quota di punti su una macchia
Tocca a te

Scrivi il corpo del ciclo di addestramento: 2000 passi (circa 4 secondi nel browser). Superi con almeno 7 macchie coperte e qualità almeno 0.5. Scrivi tu il ciclo: ganlab.train qui è vietato.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.