पाठ्यक्रम 246 में से पाठ 99 · Module 8: Run Clinic I, टूटे runs का इलाज
Module 8: Run Clinic I, टूटे runs का इलाज

Clinic: शुरुआत और scale दोष

यह क्यों मायने रखता है जंगल में Module 6 के दोष: वे सीखना शुरू होने से पहले रोक देते हैं।

मरी units: हर छिपी unit हर input के लिए बंद है, इसलिए कोई gradient पहली layer तक नहीं पहुँचता और loss कभी 2.30 नहीं छोड़ता। बिना scale किए inputs: pixels 0 से 1 के बजाय 0 से 16 के रूप में आते हैं, activations भारी हैं, शुरुआती loss 2.30 से बहुत ऊपर है, और पहले steps हिंसक हैं। (Module 6 का BatchNorm train/eval जाल भी यहीं का है; आप उससे पहले मिल चुके।)

नीचे का हर मामला एक training run है जिसमें एक दोष रोपा गया है। हर एक के लिए: दोष ढूँढने के लिए probes ख़र्च करें, फिर config बदलावों के रूप में एक इलाज लिखें। इस पाठ के दोष: dead_units, unscaled_inputs, plus one fault from earlier। कम probes बेहतर है; एक अच्छे निदानकर्ता को शायद ही हर मामले पर दो से ज़्यादा चाहिए।

Probeयह आपको क्या बताता है
loss_curve(c)हर 50 steps का training loss और अंतिम validation accuracy। हमेशा पहले देखें।
loss_at_init(c)training से पहले का loss। एक ताज़ा 10-class model ln(10) = 2.30 के पास होना चाहिए।
overfit_one_batch(c)क्या यह 32 उदाहरण याद कर सकता है? एक स्वस्थ setup 0 के पास पहुँचता है।
grad_norms(c)शुरुआत में हर weight matrix का gradient आकार। शून्य का मतलब कुछ नहीं सीख सकता।
update_ratio(c)weight आकार के सापेक्ष सादा SGD step आकार। स्वस्थ लगभग 0.001 से 0.1 है (सादे SGD के लिए अंगूठे का एक नियम; Module 14 दिखाता है कि Adam क्यों अलग है)।
act_stats(c)छिपे activations: औसत, सबसे बड़ा मान, मरी units का हिस्सा।
lr_schedule(c)steps 0, 50, 100 वग़ैरह पर learning rate।
batch_labels(c)पहले कुछ batches में labels।
overlap(c)कितने validation उदाहरण training में भी दिखते हैं।
इस पाठ के शब्द और चिह्न
probe
एक run का एक जल्दी का माप, जैसे gradient आकार या मरी units
आपकी बारी

मामलों A, B और C के लिए diagnosis (मामले से दोष नाम) और fixes (मामले से config बदलावों की एक dictionary) भरें। एक इलाज को दोष हटाना होगा और कम से कम 90% validation accuracy तक train करना होगा।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।