पाठ्यक्रम 246 में से पाठ 175 · Module 15: दबाएँ, फिर बनाएँ, बनाएँ नया (autoencoders और VAEs)
Module 15: दबाएँ, फिर बनाएँ, बनाएँ नया (autoencoders और VAEs)

Gate: वह VAE जो एक अंक बनाता है (AI बंद)

यह क्यों मायने रखता है इस विफलता का एक नाम है, posterior collapse, और यह इतनी आम है कि आप बाद में जो भी generative model बनाएँ वह इसके किसी रूप से टकरा सकता है। यहाँ आप इसका निदान और इलाज अकेले करते हैं।

Gate नियम: AI tutor बंद। starter चलाएँ और देखें कि टूटा VAE क्या बनाता है। आप gen.train_vae(...) से जितने चाहें रूप train कर सकते हैं और उन्हें gen.judge, active_units() और rebuild त्रुटि से परख सकते हैं।

तीन settings हैं, हर एक को आज़माने का एक कारण:

  • weight: खिंचाव 2 (KL) की ताक़त, default 1।
  • warmup_steps: weight 0 से शुरू करें और इतने steps में उसे बराबर weight तक बढ़ाएँ (training 600 steps है)।
  • free_bits: हर code संख्या के लिए एक तल। जिस संख्या का KL तल से नीचे हो वह तल चुकाती है और उसे केंद्र की ओर कोई धक्का नहीं मिलता, इसलिए model उसे इस्तेमाल करने का ख़र्च उठा सकता है।

आप online पढ़ेंगे कि weight को धीरे-धीरे बढ़ाना मानक इलाज है। पता करें कि क्या यह यहाँ है।

जाँच आपके इलाज को एक नए seed पर फिर train करती है और उसे बस तब पास करती है जब चारों सही हों: 0.035 से कम test rebuild त्रुटि, कम से कम 3 सक्रिय code संख्याएँ, अधिक से अधिक 1.33 closeness और कम से कम 3.0 variety वाले नए अंक।

इस पाठ के शब्द और चिह्न
code (latent)
वे कुछ संख्याएँ जो encoder एक तस्वीर से बनाता है
VAE
variational autoencoder: एक autoencoder जिसके codes N(0, 1) भरने के लिए खींचे जाते हैं, ताकि बेतरतीब codes नई तस्वीरों में decode हों
mu, logvar
एक VAE में एक code संख्या का केंद्र और उसके squared फैलाव का log
closeness, variety
कोर्स का जज: सबसे पास के असली अंक से दूरी, और दस अंकों पर फैलाव के bits
posterior collapse
एक VAE जिसके सारे codes N(0, 1) बन जाते हैं और कुछ नहीं ले जाते; यह एक औसत तस्वीर बनाता है
आपकी बारी

diagnosis को एक अक्षर पर और fix को gen.train_vae के लिए settings की एक dict पर सेट करें जो collapse ठीक करे।

AI बंद: इसमें कोई ट्यूटर, संकेत या हल किया हुआ समाधान नहीं। सिर्फ़ आपकी अपनी सोच।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।