पाठ्यक्रम 246 में से पाठ 95 · Module 8: Run Clinic I, टूटे runs का इलाज
Module 8: Run Clinic I, टूटे runs का इलाज

आपके अपने probes

यह क्यों मायने रखता है Probes वह तरीका हैं जिससे आप एक run के अंदर देखते हैं। उन्हें ख़ुद लिखने का मतलब है जब एक औज़ार आपको संख्याएँ दिखाए तो आप जानेंगे कि उनका क्या मतलब है।

तीन probes ज़्यादातर काम करते हैं:

  • हर layer का gradient आकार: हर weight matrix के gradient की लंबाई (norm)। सब शून्य: कुछ नहीं सीखता। layers के बीच बेहद अलग: एक layer भूखी है।
  • मरा हिस्सा: छिपी units का वह अंश जो एक batch के हर उदाहरण के लिए शून्य output दे।
  • Update-to-weight अनुपात: learning rate गुणा gradient आकार, weight आकार से भाग। यह बताता है कि एक step हर weight का कितना अंश बदलता है। लगभग 0.001 से 0.1 स्वस्थ है; 1 के पास का मतलब हर step weights फिर लिखता है; 0 के पास का मतलब कुछ नहीं हिलता।

harness अपने अंदरूनी हिस्से दिखाता है: _data(c) training डेटा देता है, _init(c) शुरुआती weights, और _fb(p, X, y, c) (loss, gradients, छिपे activations) लौटाता है।

इस पाठ के शब्द और चिह्न
probe
एक run का एक जल्दी का माप, जैसे gradient आकार या मरी units
update-to-weight अनुपात
एक step हर weight को उसके आकार के सापेक्ष कितना बदलता है
आपकी बारी

पहले 256 training उदाहरणों और शुरुआती weights का इस्तेमाल करते हुए my_grad_norms(c), my_dead_share(c) और my_update_ratio(c) लिखें। उन्हें clinic के probes से मेल खाना होगा।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।