पाठ्यक्रम 246 में से पाठ 170 · Module 15: दबाएँ, फिर बनाएँ, बनाएँ नया (autoencoders और VAEs)
Module 15: दबाएँ, फिर बनाएँ, बनाएँ नया (autoencoders और VAEs)

एक code केंद्र से कितनी दूर है: दो घंटी वक्रों के बीच KL

यह क्यों मायने रखता है खिंचाव 2 को घटाने के लिए एक संख्या चाहिए: हर code का बादल N(mu, spread) लक्ष्य N(0, 1) से कितना दूर है। वह संख्या वह KL divergence है जिससे आप Module 2 में मिले, अब घंटी वक्रों के लिए।

Module 2 ने दो घंटी वक्रों के लिए ठीक सूत्र दिया: N(m1, s1) और N(m2, s2) के बीच KL है

log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2।

लक्ष्य N(0, 1) (m2 = 0, s2 = 1) और फैलाव को logvar = log(s1²) के रूप में लिखने पर, यह हर code संख्या पर 0.5 (mu² + exp(logvar) - 1 - logvar) बनता है। इसे code की संख्याओं पर जोड़ें।

छोटी संख्याएँ

mu = 0, logvar = 0 (फैलाव 1): 0.5 (0 + 1 - 1 - 0) = 0, code पहले से लक्ष्य से मेल खाता है। mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2। mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, इसलिए ख़ुद पर बहुत आश्वस्त code भी क़ीमत चुकाता है।

इसे सूत्र के बिना जाँचें

KL एक औसत है: p से निकाले x के लिए log p(x) - log q(x) का औसत। कई x निकालकर औसत लेना वही संख्या देता है, थोड़ी शोर भरी। दो तरीकों का सहमत होना यह है कि आप कैसे जानते हैं कि code सही है।

इस पाठ के शब्द और चिह्न
code (latent)
वे कुछ संख्याएँ जो encoder एक तस्वीर से बनाता है
mu, logvar
एक VAE में एक code संख्या का केंद्र और उसके squared फैलाव का log
आपकी बारी

सूत्र से kl_normal(m1, s1, m2, s2), kl_to_standard(mu, logvar) (आकार (N, z) के NumPy arrays, code संख्याओं पर जोड़ N rows पर औसत लौटाते हुए), और kl_by_sampling(m1, s1, m2, s2, n) लिखें जो p से n निकाले मानों पर log p(x) - log q(x) का औसत ले।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।