Programma Lezione 170 di 246 · Modulo 15: Schiaccia, ricostruisci, genera (autoencoder e VAE)
Modulo 15: Schiaccia, ricostruisci, genera (autoencoder e VAE)

Quanto è lontano un codice dal centro: la KL tra due curve a campana

Perché è importante La trazione 2 ha bisogno di un numero da minimizzare: quanto è lontana la nuvola N(mu, dispersione) di ogni codice dall'obiettivo N(0, 1). Quel numero è la divergenza KL che hai incontrato nel Modulo 2, ora per le curve a campana.

Il Modulo 2 ha dato la formula esatta per due curve a campana: la KL tra N(m1, s1) e N(m2, s2) è

log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.

Con l'obiettivo N(0, 1) (m2 = 0, s2 = 1) e la dispersione scritta come logvar = log(s1²), diventa 0.5 (mu² + exp(logvar) - 1 - logvar) per numero del codice. Sommala sui numeri del codice.

Numeri piccolissimi

mu = 0, logvar = 0 (dispersione 1): 0.5 (0 + 1 - 1 - 0) = 0, il codice coincide già con l'obiettivo. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, quindi anche un codice troppo sicuro di sé paga.

Verificala senza la formula

La KL è una media: la media di log p(x) - log q(x) per x estratti da p. Estrarre molti x e fare la media dà lo stesso numero, un po' rumoroso. Due metodi d'accordo sono il modo in cui sai che il codice è giusto.

Parole e simboli di questa lezione
codice (latente)
i pochi numeri che l'encoder crea da un'immagine
mu, logvar
il centro e il log del quadrato della dispersione di un numero del codice in un VAE
Tocca a te

Scrivi kl_normal(m1, s1, m2, s2) dalla formula, kl_to_standard(mu, logvar) (array NumPy di forma (N, z), che restituisce la somma sui numeri del codice mediata sulle N righe), e kl_by_sampling(m1, s1, m2, s2, n) che fa la media di log p(x) - log q(x) su n estrazioni da p.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.