पाठ्यक्रम 246 में से पाठ 172 · Module 15: दबाएँ, फिर बनाएँ, बनाएँ नया (autoencoders और VAEs)
Module 15: दबाएँ, फिर बनाएँ, बनाएँ नया (autoencoders और VAEs)

ऐसा sampling जिससे आप train कर सकें

यह क्यों मायने रखता है code N(mu, spread) से एक बेतरतीब निकाला मान है। Backprop को loss से वापस mu और logvar तक एक ढलान चाहिए, और "एक बेतरतीब संख्या" की कोई ढलान नहीं। एक पुनर्लेखन इसे ठीक करता है, और यह VAEs से बहुत आगे इस्तेमाल होता है।

पहले बेतरतीबी निकालें, एक तय घंटी वक्र से: N(0, 1) से eps। फिर उससे code बनाएँ:

code = mu + exp(logvar / 2) * eps

code के मानों का ठीक वही फैलाव है जो N(mu, spread) से एक निकाले मान का, पर अब यह mu और logvar पर साधारण अंकगणित है, eps एक सादे input के रूप में। ढलानें सरल हैं: d code / d mu = 1, और d code / d logvar = 0.5 exp(logvar / 2) eps। यह reparameterisation trick है।

छोटी संख्याएँ

mu = 1, logvar = 0, eps = 0.5: code = 1 + 1 x 0.5 = 1.5। mu तक ढलान: 1। logvar तक ढलान: 0.5 x 1 x 0.5 = 0.25।

इसके लिए आपको एक नया operation चाहिए, exp। कोर्स engine में पहले से एक है (E.exp); यहाँ आप अपना बनाते हैं, Module 4 के तरीके से: forward मान, और एक backward नियम जो आते gradient को स्थानीय ढलान से गुणा करे (exp के लिए, ढलान ख़ुद exp है)।

घर के engine में एक operation एक tensor out = E.T(value, (parent,)) है एक नियम out.back = lambda g: parent._acc(g * local_slope) के साथ: back out पर आता gradient पाता है, और _acc parent में एक gradient जोड़ता है। E.GUIDE engine के हिस्से print करता है।

इस पाठ के शब्द और चिह्न
code (latent)
वे कुछ संख्याएँ जो encoder एक तस्वीर से बनाता है
VAE
variational autoencoder: एक autoencoder जिसके codes N(0, 1) भरने के लिए खींचे जाते हैं, ताकि बेतरतीब codes नई तस्वीरों में decode हों
mu, logvar
एक VAE में एक code संख्या का केंद्र और उसके squared फैलाव का log
reparameterisation
code = mu + exp(logvar / 2) x eps, eps पहले निकाला, ताकि gradients mu और logvar तक पहुँचें
आपकी बारी

exp_op(a) को एक engine operation के रूप में लिखें (parents और एक back नियम के साथ एक E.T लौटाएँ)। exp_op, E.scale, E.mul और E.add से reparam(mu, logvar, eps) लिखें। फिर दोनों gradients को धकेलने से जाँचें और max_gap को मिले सबसे बड़े अंतर पर सेट करें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।