आपके अपने probes
यह क्यों मायने रखता है Probes वह तरीका हैं जिससे आप एक run के अंदर देखते हैं। उन्हें ख़ुद लिखने का मतलब है जब एक औज़ार आपको संख्याएँ दिखाए तो आप जानेंगे कि उनका क्या मतलब है।
तीन probes ज़्यादातर काम करते हैं:
- हर layer का gradient आकार: हर weight matrix के gradient की लंबाई (norm)। सब शून्य: कुछ नहीं सीखता। layers के बीच बेहद अलग: एक layer भूखी है।
- मरा हिस्सा: छिपी units का वह अंश जो एक batch के हर उदाहरण के लिए शून्य output दे।
- Update-to-weight अनुपात: learning rate गुणा gradient आकार, weight आकार से भाग। यह बताता है कि एक step हर weight का कितना अंश बदलता है। लगभग 0.001 से 0.1 स्वस्थ है; 1 के पास का मतलब हर step weights फिर लिखता है; 0 के पास का मतलब कुछ नहीं हिलता।
harness अपने अंदरूनी हिस्से दिखाता है: _data(c) training डेटा देता है, _init(c) शुरुआती weights, और _fb(p, X, y, c) (loss, gradients, छिपे activations) लौटाता है।
इस पाठ के शब्द और चिह्न
- probe
- एक run का एक जल्दी का माप, जैसे gradient आकार या मरी units
- update-to-weight अनुपात
- एक step हर weight को उसके आकार के सापेक्ष कितना बदलता है
पहले 256 training उदाहरणों और शुरुआती weights का इस्तेमाल करते हुए my_grad_norms(c), my_dead_share(c) और my_update_ratio(c) लिखें। उन्हें clinic के probes से मेल खाना होगा।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।