Programma Lezione 173 di 246 · Modulo 15: Schiaccia, ricostruisci, genera (autoencoder e VAE)
Modulo 15: Schiaccia, ricostruisci, genera (autoencoder e VAE)

Il tuo VAE crea cifre nuove

Perché è importante Ogni pezzo è pronto: mu e logvar dell'encoder, il trucco per campionare, la loss di ricostruzione e la KL. Mettili in un solo passo di addestramento e hai un modello che crea cifre che nessuno ha disegnato.

Un passo di addestramento, a parole:

  1. Codifica un batch: mu, logvar = model.encode(E.T(x)).
  2. Estrai eps da N(0, 1) con la forma di mu, e crea il codice con la tua riparametrizzazione.
  3. Decodifica il codice in punteggi dei pixel: model.decode_logits(code).
  4. Loss = E.bce_with_logits(scores, x) + E.kl_to_standard(mu, logvar) (la versione del motore di casa della tua KL).
  5. Backward, poi opt.step().

Poi giudicalo con lo stesso giudice di prima: vicinanza e varietà di 500 cifre nuove estratte da N(0, 1). L'errore di ricostruzione sarà peggiore di quello dell'autoencoder (circa 0.03 contro 0.008). È il prezzo della trazione 2, e compra uno spazio dei codici da cui puoi campionare.

Parole e simboli di questa lezione
autoencoder
un encoder che schiaccia un'immagine in pochi numeri e un decoder che la ricostruisce
codice (latente)
i pochi numeri che l'encoder crea da un'immagine
VAE
autoencoder variazionale: un autoencoder i cui codici vengono tirati a riempire N(0, 1), così i codici casuali si decodificano in immagini nuove
mu, logvar
il centro e il log del quadrato della dispersione di un numero del codice in un VAE
riparametrizzazione
code = mu + exp(logvar / 2) × eps, con eps estratto prima, così i gradienti arrivano a mu e logvar
vicinanza, varietà
il giudice del corso: distanza dalla cifra vera più vicina, e bit di distribuzione sulle dieci cifre
Tocca a te

Scrivi il corpo del ciclo di addestramento (600 passi da 256 immagini). Superi con: errore di ricostruzione di test sotto 0.035, cifre nuove con vicinanza al massimo 1.30 e varietà almeno 3.0, e almeno 3 numeri del codice attivi. Usa il tuo ciclo: gen.train_vae qui è vietato.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.