ऐसा sampling जिससे आप train कर सकें
यह क्यों मायने रखता है code N(mu, spread) से एक बेतरतीब निकाला मान है। Backprop को loss से वापस mu और logvar तक एक ढलान चाहिए, और "एक बेतरतीब संख्या" की कोई ढलान नहीं। एक पुनर्लेखन इसे ठीक करता है, और यह VAEs से बहुत आगे इस्तेमाल होता है।
पहले बेतरतीबी निकालें, एक तय घंटी वक्र से: N(0, 1) से eps। फिर उससे code बनाएँ:
code = mu + exp(logvar / 2) * eps
code के मानों का ठीक वही फैलाव है जो N(mu, spread) से एक निकाले मान का, पर अब यह mu और logvar पर साधारण अंकगणित है, eps एक सादे input के रूप में। ढलानें सरल हैं: d code / d mu = 1, और d code / d logvar = 0.5 exp(logvar / 2) eps। यह reparameterisation trick है।
छोटी संख्याएँ
mu = 1, logvar = 0, eps = 0.5: code = 1 + 1 x 0.5 = 1.5। mu तक ढलान: 1। logvar तक ढलान: 0.5 x 1 x 0.5 = 0.25।
इसके लिए आपको एक नया operation चाहिए, exp। कोर्स engine में पहले से एक है (E.exp); यहाँ आप अपना बनाते हैं, Module 4 के तरीके से: forward मान, और एक backward नियम जो आते gradient को स्थानीय ढलान से गुणा करे (exp के लिए, ढलान ख़ुद exp है)।
घर के engine में एक operation एक tensor out = E.T(value, (parent,)) है एक नियम out.back = lambda g: parent._acc(g * local_slope) के साथ: back out पर आता gradient पाता है, और _acc parent में एक gradient जोड़ता है। E.GUIDE engine के हिस्से print करता है।
इस पाठ के शब्द और चिह्न
- code (latent)
- वे कुछ संख्याएँ जो encoder एक तस्वीर से बनाता है
- VAE
- variational autoencoder: एक autoencoder जिसके codes N(0, 1) भरने के लिए खींचे जाते हैं, ताकि बेतरतीब codes नई तस्वीरों में decode हों
- mu, logvar
- एक VAE में एक code संख्या का केंद्र और उसके squared फैलाव का log
- reparameterisation
- code = mu + exp(logvar / 2) x eps, eps पहले निकाला, ताकि gradients mu और logvar तक पहुँचें
exp_op(a) को एक engine operation के रूप में लिखें (parents और एक back नियम के साथ एक E.T लौटाएँ)। exp_op, E.scale, E.mul और E.add से reparam(mu, logvar, eps) लिखें। फिर दोनों gradients को धकेलने से जाँचें और max_gap को मिले सबसे बड़े अंतर पर सेट करें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।