बहुत छोटा, बहुत बड़ा: vanishing और exploding
यह क्यों मायने रखता है एक ग़ायब signal का मतलब है हर gradient लगभग शून्य है और training रुकती है। एक फटे का मतलब overflow और nan। दोनों शुरुआती weights से आते हैं।
इसे देखें
animation चलाएँ: वही 20-layer ढेर तीन तरह शुरू किया। बहुत छोटा, और signal layer दर layer कुछ नहीं तक फीका होता है। बहुत बड़ा, और यह दोगुना और दोगुना होता है जब तक overflow न हो। ठीक, और यह पूरे रास्ते स्थिर रहता है। वापसी के रास्ते gradient को वही भाग्य झेलना पड़ता है।
Vanishing: activations या gradients का layers से शून्य की ओर सिकुड़ना। Exploding: बिना सीमा बढ़ना।
इस पाठ के शब्द और चिह्न
- vanishing, exploding
- layers से कुछ नहीं तक सिकुड़ते या बिना सीमा बढ़ते signals या gradients
- Xavier, LeCun, He
- tanh के लिए शुरुआती फैलाव sqrt(2 / (inputs + outputs)) या 1 / sqrt(inputs), और ReLU के लिए sqrt(2 / inputs)
पिछले पाठ के अपने spreads (दिया) से, verdict(scale) लिखें जो "vanish" लौटाए अगर अंतिम फैलाव 1e-3 से नीचे हो, "explode" अगर 1e3 से ऊपर, नहीं तो "ok"। फिर चलाने से पहले पैमानों 0.05, 0.14 और 0.5 के लिए my_predictions भरें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।