Programma Lezione 171 di 246 · Modulo 15: Schiaccia, ricostruisci, genera (autoencoder e VAE)
Modulo 15: Schiaccia, ricostruisci, genera (autoencoder e VAE)

La loss del VAE, passo per passo (l'ELBO)

Perché è importante "Ricostruisci bene più resta vicino al centro" sembrano due obiettivi incollati. È un obiettivo solo: rendere le cifre vere il più probabili possibile sotto il modello. Capire perché ti dice che cosa significa il numero della loss.

Un VAE è una storia di come nasce una cifra: estrai un codice z da N(0, 1), poi estrai ogni pixel con la probabilità che dà il decoder. Il modello migliore dà alle cifre vere la probabilità più alta, log p(x). Calcolare esattamente log p(x) richiede una media su ogni z possibile, che è fuori portata.

Il trucco è un limite inferiore che puoi calcolare, l'ELBO (evidence lower bound):

log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))

Qui q(z | x) = N(mu, dispersione) è l'ipotesi dell'encoder su quali codici potrebbero aver creato x, ed E[...] fa la media sui codici estratti da lì. Il primo termine è il punteggio di ricostruzione. Il secondo termine è la trazione 2. Lo scarto tra log p(x) e l'ELBO è esattamente quanto è sbagliata l'ipotesi dell'encoder (una KL verso il vero posteriore), quindi spingere in su l'ELBO alza log p(x), o chiude lo scarto (rende l'ipotesi migliore), o entrambe: l'ELBO da solo non può dirti quale.

L'addestramento minimizza -ELBO, cioè loss di ricostruzione + KL: proprio la loss di gen.train_vae.

Riempi i vuoti su un piccolo esempio

Un'immagine di 4 pixel x = [1, 0, 1, 1]. L'encoder dà mu = [0.5, -1.0] e logvar = [0.0, -1.0]. Un'estrazione del codice dà le probabilità del decoder p = [0.9, 0.2, 0.7, 0.6] (la probabilità di inchiostro di ogni pixel).

Parole e simboli di questa lezione
codice (latente)
i pochi numeri che l'encoder crea da un'immagine
VAE
autoencoder variazionale: un autoencoder i cui codici vengono tirati a riempire N(0, 1), così i codici casuali si decodificano in immagini nuove
mu, logvar
il centro e il log del quadrato della dispersione di un numero del codice in un VAE
ELBO
evidence lower bound: punteggio di ricostruzione meno KL; addestrare un VAE lo spinge in su
Tocca a te

Riempi ogni passo: log_p_x_given_z (somma sui pixel di x log p + (1 - x) log(1 - p)), kl (verso N(0, 1), sommata su entrambi i numeri del codice), elbo, e loss (ciò che l'addestramento minimizza). Poi imposta gap_means sulla lettera che dice che cosa misura lo scarto tra log p(x) e l'ELBO.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.