मरे ReLUs
यह क्यों मायने रखता है एक ReLU जो हर input के लिए बंद हो कोई gradient नहीं देता, इसलिए वह फिर कभी नहीं सीखता। पूरी layers चुपचाप मर सकती हैं।
एक unit मरी है अगर उसका output एक batch के हर उदाहरण के लिए शून्य हो। आम कारण: एक बड़ा ऋणात्मक bias, या एक भारी update जिसने उसके weights को बहुत ऋणात्मक धकेला।
छोटी संख्याएँ
4 उदाहरणों और 3 units के activations: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]। Unit 1 हर जगह शून्य है: मरी। Unit 3 एक बार चली: ज़िंदा। मरा अंश: 3 में से 1।
इलाज: समझदार शुरुआती weights, 0 पर (या थोड़े धनात्मक) शुरू होते biases, एक छोटी learning rate, या leaky ReLU, जो ऋणात्मक inputs के लिए एक छोटी ढलान (मान लें 0.01) रखता है ताकि unit उबर सके।
इस पाठ के शब्द और चिह्न
- Xavier, LeCun, He
- tanh के लिए शुरुआती फैलाव sqrt(2 / (inputs + outputs)) या 1 / sqrt(inputs), और ReLU के लिए sqrt(2 / inputs)
एक activation matrix (उदाहरण गुणा units) के लिए dead_fraction(H) लिखें। फिर, नीचे की layer के लिए, जो -4 के biases से शुरू हुई, fixed_layer(X, W) लिखें जो वही weights रखे पर शून्य के biases और 0.01 ढलान वाला एक leaky ReLU इस्तेमाल करे; उसका मरा अंश (ठीक-शून्य outputs गिनते हुए) 0 होना चाहिए।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।