Campionare in un modo attraverso cui puoi addestrare
Perché è importante Il codice è un'estrazione casuale da N(mu, dispersione). La backprop ha bisogno di una pendenza dalla loss indietro fino a mu e logvar, e "un numero casuale" non ha pendenza. Una riscrittura lo sistema, ed è usata ben oltre i VAE.
Estrai prima la casualità, da una curva a campana fissa: eps da N(0, 1). Poi costruisci il codice a partire da lì:
code = mu + exp(logvar / 2) * eps
Il codice ha esattamente la stessa distribuzione di valori di un'estrazione da N(mu, dispersione), ma ora è aritmetica normale su mu e logvar, con eps come semplice input. Le pendenze sono semplici: d code / d mu = 1, e d code / d logvar = 0.5 exp(logvar / 2) eps. Questo è il trucco della riparametrizzazione.
Numeri piccolissimi
mu = 1, logvar = 0, eps = 0.5: code = 1 + 1 × 0.5 = 1.5. Pendenza verso mu: 1. Pendenza verso logvar: 0.5 × 1 × 0.5 = 0.25.
Ti serve una sola operazione nuova, exp. Il motore del corso ne ha già una (E.exp); qui costruisci la tua, alla maniera del Modulo 4: valore in avanti, e una regola all'indietro che moltiplica il gradiente in arrivo per la pendenza locale (per exp, la pendenza è exp stesso).
Nel motore di casa un'operazione è un tensore out = E.T(value, (parent,)) con una regola out.back = lambda g: parent._acc(g * local_slope): back riceve il gradiente che arriva a out, e _acc aggiunge un gradiente al genitore. E.GUIDE stampa i pezzi del motore.
Parole e simboli di questa lezione
- codice (latente)
- i pochi numeri che l'encoder crea da un'immagine
- VAE
- autoencoder variazionale: un autoencoder i cui codici vengono tirati a riempire N(0, 1), così i codici casuali si decodificano in immagini nuove
- mu, logvar
- il centro e il log del quadrato della dispersione di un numero del codice in un VAE
- riparametrizzazione
- code = mu + exp(logvar / 2) × eps, con eps estratto prima, così i gradienti arrivano a mu e logvar
Scrivi exp_op(a) come operazione del motore (restituisci un E.T con i genitori e una regola back). Scrivi reparam(mu, logvar, eps) con exp_op, E.scale, E.mul e E.add. Poi controlla entrambi i gradienti spingendo i valori e imposta max_gap sulla differenza più grande che trovi.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.