पाठ्यक्रम 246 में से पाठ 76 · Module 6: शुरुआती weights और normalisation
Module 6: शुरुआती weights और normalisation

बहुत छोटा, बहुत बड़ा: vanishing और exploding

यह क्यों मायने रखता है एक ग़ायब signal का मतलब है हर gradient लगभग शून्य है और training रुकती है। एक फटे का मतलब overflow और nan। दोनों शुरुआती weights से आते हैं।

इसे देखें

animation चलाएँ: वही 20-layer ढेर तीन तरह शुरू किया। बहुत छोटा, और signal layer दर layer कुछ नहीं तक फीका होता है। बहुत बड़ा, और यह दोगुना और दोगुना होता है जब तक overflow न हो। ठीक, और यह पूरे रास्ते स्थिर रहता है। वापसी के रास्ते gradient को वही भाग्य झेलना पड़ता है।

Vanishing: activations या gradients का layers से शून्य की ओर सिकुड़ना। Exploding: बिना सीमा बढ़ना।

इस पाठ के शब्द और चिह्न
vanishing, exploding
layers से कुछ नहीं तक सिकुड़ते या बिना सीमा बढ़ते signals या gradients
Xavier, LeCun, He
tanh के लिए शुरुआती फैलाव sqrt(2 / (inputs + outputs)) या 1 / sqrt(inputs), और ReLU के लिए sqrt(2 / inputs)
आपकी बारी

पिछले पाठ के अपने spreads (दिया) से, verdict(scale) लिखें जो "vanish" लौटाए अगर अंतिम फैलाव 1e-3 से नीचे हो, "explode" अगर 1e3 से ऊपर, नहीं तो "ok"। फिर चलाने से पहले पैमानों 0.05, 0.14 और 0.5 के लिए my_predictions भरें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।