Clinic: learning-rate दोष
यह क्यों मायने रखता है learning rate एक बुरे run का सबसे आम कारण है। हर तरह का ग़लत एक अलग निशान छोड़ता है।
बहुत ऊँचा: steps पार निकल जाते हैं, loss इधर-उधर कूदता या चढ़ता है, और update-to-weight अनुपात 1 के पास या ऊपर है। बहुत नीचा: लगभग कुछ नहीं हिलता, loss 2.30 के पास बैठता है और अनुपात बहुत छोटा है। बहुत जल्दी गिराया: run कुछ देर सीखता है, फिर सुधरना बंद करता है: तब से loss बस batch से batch एक औसत स्तर के आसपास डगमगाता है (यहाँ लगभग 1.1 और 1.5 के बीच); schedule rate को ढहता दिखाता है।
नीचे का हर मामला एक training run है जिसमें एक दोष रोपा गया है। हर एक के लिए: दोष ढूँढने के लिए probes ख़र्च करें, फिर config बदलावों के रूप में एक इलाज लिखें। इस पाठ के दोष: lr_too_high, lr_too_low, lr_dropped_early। कम probes बेहतर है; एक अच्छे निदानकर्ता को शायद ही हर मामले पर दो से ज़्यादा चाहिए।
| Probe | यह आपको क्या बताता है |
|---|---|
loss_curve(c) | हर 50 steps का training loss और अंतिम validation accuracy। हमेशा पहले देखें। |
loss_at_init(c) | training से पहले का loss। एक ताज़ा 10-class model ln(10) = 2.30 के पास होना चाहिए। |
overfit_one_batch(c) | क्या यह 32 उदाहरण याद कर सकता है? एक स्वस्थ setup 0 के पास पहुँचता है। |
grad_norms(c) | शुरुआत में हर weight matrix का gradient आकार। शून्य का मतलब कुछ नहीं सीख सकता। |
update_ratio(c) | weight आकार के सापेक्ष सादा SGD step आकार। स्वस्थ लगभग 0.001 से 0.1 है (सादे SGD के लिए अंगूठे का एक नियम; Module 14 दिखाता है कि Adam क्यों अलग है)। |
act_stats(c) | छिपे activations: औसत, सबसे बड़ा मान, मरी units का हिस्सा। |
lr_schedule(c) | steps 0, 50, 100 वग़ैरह पर learning rate। |
batch_labels(c) | पहले कुछ batches में labels। |
overlap(c) | कितने validation उदाहरण training में भी दिखते हैं। |
इस पाठ के शब्द और चिह्न
- probe
- एक run का एक जल्दी का माप, जैसे gradient आकार या मरी units
- update-to-weight अनुपात
- एक step हर weight को उसके आकार के सापेक्ष कितना बदलता है
मामलों A, B और C के लिए diagnosis (मामले से दोष नाम) और fixes (मामले से config बदलावों की एक dictionary) भरें। एक इलाज को दोष हटाना होगा और कम से कम 90% validation accuracy तक train करना होगा।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।