रोपा bug ढूँढें और ठीक करें
यह क्यों मायने रखता है machine learning में सबसे बुरे bugs crash नहीं करते। वे train होते हैं, जितना होना चाहिए उससे थोड़ा बुरा, और किसी को पता नहीं चलता। एक gradient check उन्हें सेकंडों में ढूँढता है।
एक साथी ने studio का gradient code तेज़ बनाने के लिए फिर लिखा: suspect_grads। आपको इसे पढ़ने नहीं मिलता, जैसा असली काम में अक्सर होता है (एक library, एक साथी की branch, बना code)। इसके साथ train होकर, आपका baseline फिर भी सीखता है: कोर्स की डिफ़ॉल्ट योजना पर language अंक बस लगभग 0.05 बुरा है, और images पर, seed 0 के साथ, यह ऊँचा भी पाता है। दोनों उसके अंदर हैं जिसे एक लापरवाह पाठक शोर कहता है। इसमें कुछ ग़लत है।
इसे वैसे जाँचें जैसे Module 3 ने सिखाया: एक weight को थोड़ी मात्रा से धकेलें, loss में बदलाव मापें, और code के दावे वाली ढलान से तुलना करें। ऐसा एक छोटे model (चौड़ाई 8, 16 का एक batch) पर W1, b1, W2 और b2 में से हर एक की 5 entries के लिए करें, उन entries में से चुनी जिनकी दावा की ढलान शून्य नहीं (one-hot inputs के साथ, W1 की ज़्यादातर ढलानें ठीक 0 हैं, और वहाँ एक जाँच कुछ साबित नहीं करती)। studio.loss64 और 1e-4 के धक्के से float64 में loss मापें; 0.01 से ऊपर की सापेक्ष त्रुटि को ग़लत कहें।
इस पाठ के शब्द और चिह्न
- baseline
- वह सादा run जिसके मुक़ाबले हर बदलाव मापा जाता है, उन्हीं seeds पर
- gradient check
- आपके code की निकाली ढलान की एक weight धकेलकर मापी ढलान से तुलना
'W1', 'b1', 'W2', 'b2' में से हर एक के लिए, 5 entries पर सबसे बड़ी सापेक्ष त्रुटि लौटाने वाला check(grad_fn) लिखें। wrong को उन sorted नामों पर सेट करें जिनकी त्रुटि 0.01 से ऊपर है, और cause को एक वाक्य पर: backward pass में क्या वहाँ बैठता है जहाँ ग़लत gradients हैं, और वहाँ शायद क्या छोड़ा गया। फिर fixed_grads ख़ुद लिखें (forward pass m.forward है; loss और उसकी ढलान studio.loss_and_dout हैं)। फिर हर एक के साथ अपना baseline (seed 0) train करें और दोनों अंक print करें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।