तरीका: किसी भी चीज़ से पहले दो जाँचें
यह क्यों मायने रखता है ज़्यादातर टूटे runs दो सस्ती जाँचों से एक मिनट में पकड़े जा सकते हैं, training में एक घंटा लगाने से पहले।
अनुभवी practitioners हर नया setup एक ही तरह शुरू करते हैं:
- शुरुआत में loss जाँचें। training से पहले, कुछ न जानने वाला एक 10-class model हर class को लगभग 0.1 देता है, इसलिए उसका loss लगभग -ln(0.1) = 2.30 होना चाहिए। उससे बहुत ऊपर का मतलब है कुछ ग़लत scale हुआ है। बहुत नीचे का मतलब है जवाब अपने inputs के ज़रिए model तक पहुँच रहा है। हर रिसाव यहाँ नहीं दिखता: जब validation तस्वीरें training set में भी बैठी हों, शुरुआती loss सामान्य है (इस clinic का स्वस्थ run और उसका रिसाव मामला दोनों 2.46 पर शुरू होते हैं), और बस एक बहुत अच्छा validation अंक उसे पकड़वाता है।
- एक batch overfit करें। एक अकेले छोटे batch पर कुछ सौ steps train करें। कोई भी काम करता model और training loop 32 उदाहरण याद करके loss को शून्य के पास ला सकता है। अगर नहीं ला सकता, तो bug model, loss या gradients में है, और आपने पूरे डेटा को छुए बिना उसे पा लिया।
- उसके बाद ही, पूरे run तक बढ़ाएँ।
यह clinic एक छोटा अंक classifier है जिसे आप जानबूझकर तोड़ सकते हैं। config(**changes) एक setup बनाता है; train(c) उसे चलाता है।
| Probe | यह आपको क्या बताता है |
|---|---|
loss_curve(c) | हर 50 steps का training loss और अंतिम validation accuracy। हमेशा पहले देखें। |
loss_at_init(c) | training से पहले का loss। एक ताज़ा 10-class model ln(10) = 2.30 के पास होना चाहिए। |
overfit_one_batch(c) | क्या यह 32 उदाहरण याद कर सकता है? एक स्वस्थ setup 0 के पास पहुँचता है। |
grad_norms(c) | शुरुआत में हर weight matrix का gradient आकार। शून्य का मतलब कुछ नहीं सीख सकता। |
update_ratio(c) | weight आकार के सापेक्ष सादा SGD step आकार। स्वस्थ लगभग 0.001 से 0.1 है (सादे SGD के लिए अंगूठे का एक नियम; Module 14 दिखाता है कि Adam क्यों अलग है)। |
act_stats(c) | छिपे activations: औसत, सबसे बड़ा मान, मरी units का हिस्सा। |
lr_schedule(c) | steps 0, 50, 100 वग़ैरह पर learning rate। |
batch_labels(c) | पहले कुछ batches में labels। |
overlap(c) | कितने validation उदाहरण training में भी दिखते हैं। |
इस पाठ के शब्द और चिह्न
- probe
- एक run का एक जल्दी का माप, जैसे gradient आकार या मरी units
- overfit one batch
- जाँचना कि एक setup कुछ उदाहरण याद कर सकता है
probes इस्तेमाल करते हुए, init_ok (शुरुआत का loss 2.30 के 0.3 के अंदर) और can_overfit (overfit-one-batch loss 0.1 से नीचे) वाली एक dictionary लौटाने वाला sanity(c) लिखें। इसे स्वस्थ setup और suspect पर लागू करें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।