पाठ्यक्रम 246 में से पाठ 46 · Module 3: Neuron से MLP तक
Module 3: Neuron से MLP तक

एक gradient checker जो आप पूरे कोर्स में इस्तेमाल करेंगे

यह क्यों मायने रखता है एक ग़लत gradient crash नहीं होता। training बस चुपचाप बुरी चलती है। एक gradient checker ग़लती seconds में पकड़ता है, और आप इसे हर module में इस्तेमाल करेंगे।

विचार Module 2 का धक्का है, हर weight के लिए किया: weight i को h से ऊपर और नीचे धकेलें, दोनों बार loss मापें, और अंतर को 2h से भाग दें। अपने सूत्र के gradient से तुलना करें।

कितना क़रीब क़रीब है?

सापेक्ष त्रुटि इस्तेमाल करें: |a - b| को |a| और |b| में से बड़े से भाग दें (या 1e-8 अगर दोनों नन्हे हों)। 1e-6 से नीचे पास है; 1e-3 से ऊपर लगभग हमेशा एक bug का मतलब है।

Gradient check: एक analytic gradient (आपके सूत्र से) की एक numerical (धकेलने से) से तुलना करना।

सार धीमा पर भरोसेमंद रेफ़री। किसी भी नए gradient पर भरोसा करने से पहले इसे इस्तेमाल करें।

इस पाठ के शब्द और चिह्न
learning rate (lr)
हर training step कितना बड़ा है
gradient check
अपने gradient सूत्र की धकेलो-और-मापो अनुमान से तुलना करना
आपकी बारी

numeric_grad(f, w, h=1e-5) (w किसी भी आकार का एक NumPy array है; उसी आकार का एक array लौटाएँ) और सबसे बड़ी सापेक्ष त्रुटि लौटाने वाला grad_check(f, grad, w) लिखें। यहाँ f(w) weight array लेता है और loss को एक संख्या के रूप में लौटाता है, और grad एक array है (w पर आपके सूत्र का gradient, पहले से निकाला), function नहीं। w को स्थायी रूप से न बदलें। किसी भी आकार के array की हर स्थिति पर जाने के लिए, for idx in np.ndindex(w.shape): बारी-बारी हर index tuple देता है। छिपा test आपके checker को तीन बारीकी से ग़लत gradients देता है; हर एक को 1e-3 से ऊपर अंक पाना होगा।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।