पाठ्यक्रम 246 में से पाठ 78 · Module 6: शुरुआती weights और normalisation
Module 6: शुरुआती weights और normalisation

मरे ReLUs

यह क्यों मायने रखता है एक ReLU जो हर input के लिए बंद हो कोई gradient नहीं देता, इसलिए वह फिर कभी नहीं सीखता। पूरी layers चुपचाप मर सकती हैं।

एक unit मरी है अगर उसका output एक batch के हर उदाहरण के लिए शून्य हो। आम कारण: एक बड़ा ऋणात्मक bias, या एक भारी update जिसने उसके weights को बहुत ऋणात्मक धकेला।

छोटी संख्याएँ

4 उदाहरणों और 3 units के activations: [[0, 1.2, 0], [0, 0.3, 0], [0, 2.0, 0.1], [0, 0, 0]]। Unit 1 हर जगह शून्य है: मरी। Unit 3 एक बार चली: ज़िंदा। मरा अंश: 3 में से 1।

इलाज: समझदार शुरुआती weights, 0 पर (या थोड़े धनात्मक) शुरू होते biases, एक छोटी learning rate, या leaky ReLU, जो ऋणात्मक inputs के लिए एक छोटी ढलान (मान लें 0.01) रखता है ताकि unit उबर सके।

इस पाठ के शब्द और चिह्न
Xavier, LeCun, He
tanh के लिए शुरुआती फैलाव sqrt(2 / (inputs + outputs)) या 1 / sqrt(inputs), और ReLU के लिए sqrt(2 / inputs)
आपकी बारी

एक activation matrix (उदाहरण गुणा units) के लिए dead_fraction(H) लिखें। फिर, नीचे की layer के लिए, जो -4 के biases से शुरू हुई, fixed_layer(X, W) लिखें जो वही weights रखे पर शून्य के biases और 0.01 ढलान वाला एक leaky ReLU इस्तेमाल करे; उसका मरा अंश (ठीक-शून्य outputs गिनते हुए) 0 होना चाहिए।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।