Quanto è lontano un codice dal centro: la KL tra due curve a campana
Perché è importante La trazione 2 ha bisogno di un numero da minimizzare: quanto è lontana la nuvola N(mu, dispersione) di ogni codice dall'obiettivo N(0, 1). Quel numero è la divergenza KL che hai incontrato nel Modulo 2, ora per le curve a campana.
Il Modulo 2 ha dato la formula esatta per due curve a campana: la KL tra N(m1, s1) e N(m2, s2) è
log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2.
Con l'obiettivo N(0, 1) (m2 = 0, s2 = 1) e la dispersione scritta come logvar = log(s1²), diventa 0.5 (mu² + exp(logvar) - 1 - logvar) per numero del codice. Sommala sui numeri del codice.
Numeri piccolissimi
mu = 0, logvar = 0 (dispersione 1): 0.5 (0 + 1 - 1 - 0) = 0, il codice coincide già con l'obiettivo. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, quindi anche un codice troppo sicuro di sé paga.
Verificala senza la formula
La KL è una media: la media di log p(x) - log q(x) per x estratti da p. Estrarre molti x e fare la media dà lo stesso numero, un po' rumoroso. Due metodi d'accordo sono il modo in cui sai che il codice è giusto.
Parole e simboli di questa lezione
- codice (latente)
- i pochi numeri che l'encoder crea da un'immagine
- mu, logvar
- il centro e il log del quadrato della dispersione di un numero del codice in un VAE
Scrivi kl_normal(m1, s1, m2, s2) dalla formula, kl_to_standard(mu, logvar) (array NumPy di forma (N, z), che restituisce la somma sui numeri del codice mediata sulle N righe), e kl_by_sampling(m1, s1, m2, s2, n) che fa la media di log p(x) - log q(x) su n estrazioni da p.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.