पाठ्यक्रम 246 में से पाठ 171 · Module 15: दबाएँ, फिर बनाएँ, बनाएँ नया (autoencoders और VAEs)
Module 15: दबाएँ, फिर बनाएँ, बनाएँ नया (autoencoders और VAEs)

VAE loss, step दर step (ELBO)

यह क्यों मायने रखता है "अच्छे से फिर बनाएँ और केंद्र के पास रहें" दो लक्ष्य साथ चिपके जैसा लगता है। यह एक लक्ष्य है: model के अंतर्गत असली अंकों को जितना हो सके उतना संभावित बनाना। यह देखना कि क्यों आपको बताता है कि loss संख्या का क्या मतलब है।

एक VAE इसकी कहानी है कि एक अंक कैसे बनता है: N(0, 1) से एक code z निकालें, फिर हर pixel को उस probability से निकालें जो decoder देता है। सबसे अच्छा model असली अंकों को सबसे ऊँची probability, log p(x), देता है। log p(x) ठीक निकालने के लिए हर संभव z पर एक औसत चाहिए, जो पहुँच से बाहर है।

तरकीब एक निचली सीमा है जिसे आप निकाल सकते हैं, ELBO (evidence lower bound):

log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))

यहाँ q(z | x) = N(mu, spread) encoder का अनुमान है कि कौन-से codes x बना सकते थे, और E[...] उससे निकाले codes पर औसत लेता है। पद एक rebuild अंक है। पद दो खिंचाव 2 है। log p(x) और ELBO के बीच का अंतर ठीक यह है कि encoder का अनुमान कितना ग़लत है (असली posterior तक एक KL), इसलिए ELBO को ऊपर धकेलना log p(x) बढ़ाता है, या अंतर बंद करता है (अनुमान बेहतर बनाता है), या दोनों: अकेला ELBO आपको नहीं बता सकता कि कौन-सा।

Training -ELBO घटाती है, जो rebuild loss + KL है: gen.train_vae का ठीक वही loss।

एक छोटे उदाहरण पर ख़ाली जगहें भरें

एक 4-pixel तस्वीर x = [1, 0, 1, 1]। encoder mu = [0.5, -1.0] और logvar = [0.0, -1.0] देता है। code का एक निकाला मान decoder probabilities p = [0.9, 0.2, 0.7, 0.6] देता है (हर pixel की स्याही की संभावना)।

इस पाठ के शब्द और चिह्न
code (latent)
वे कुछ संख्याएँ जो encoder एक तस्वीर से बनाता है
VAE
variational autoencoder: एक autoencoder जिसके codes N(0, 1) भरने के लिए खींचे जाते हैं, ताकि बेतरतीब codes नई तस्वीरों में decode हों
mu, logvar
एक VAE में एक code संख्या का केंद्र और उसके squared फैलाव का log
ELBO
evidence lower bound: rebuild अंक घटा KL; एक VAE train करना इसे ऊपर धकेलता है
आपकी बारी

हर step भरें: log_p_x_given_z (pixels पर x log p + (1 - x) log(1 - p) का जोड़), kl (N(0, 1) तक, दोनों code संख्याओं पर जोड़ा), elbo, और loss (जो training घटाती है)। फिर gap_means को उस अक्षर पर सेट करें जो बताता है कि log p(x) और ELBO के बीच का अंतर क्या मापता है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।