पाठ्यक्रम 246 में से पाठ 82 · Module 6: शुरुआती weights और normalisation
Module 6: शुरुआती weights और normalisation

train/eval जाल

यह क्यों मायने रखता है एक model जो परखने में अच्छा और इस्तेमाल में बुरा अंक पाए, बिना दिखते कारण के, बहुत अक्सर यह bug है। इसने अनुभवी engineers को धोखा दिया है।

एक छोटे classifier में एक BatchNorm layer है। इसे ठीक से train किया गया और इसके चलते औसत अच्छे हैं। test set पर, बड़े batches में अंक देकर, यह अच्छा करता है। एक बार में एक उदाहरण पर इस्तेमाल होकर, यह बहुत ज़्यादा बार ग़लत है।

पहले जासूसी काम: दो अलग उदाहरणों के लिए BatchNorm layer क्या output देती है print करें, और ख़ुद से पूछें कि यह किन आँकड़ों से normalise कर रही है। जो print करें उससे निकालें; अगर आप अटकें तो तीनों संकेत आपको वहाँ ले जाते हैं।

इस पाठ के शब्द और चिह्न
Xavier, LeCun, He
tanh के लिए शुरुआती फैलाव sqrt(2 / (inputs + outputs)) या 1 / sqrt(inputs), और ReLU के लिए sqrt(2 / inputs)
BatchNorm (gamma, beta)
हर feature को batch पर normalise करें, फिर सीखे gamma और beta से फिर scale करें
आपकी बारी

predict_one(x) एक बार में एक उदाहरण पर इस्तेमाल होता है, और इसकी accuracy ख़राब है। पता करें क्यों, फिर predict_one ठीक करें ताकि held-out accuracy कम से कम 90% हो। cause को कारण का नाम लेने वाले एक छोटे वाक्यांश पर सेट करें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।