पाठ्यक्रम 246 में से पाठ 98 · Module 8: Run Clinic I, टूटे runs का इलाज
Module 8: Run Clinic I, टूटे runs का इलाज

Clinic: loss और output दोष

यह क्यों मायने रखता है ये दोष training चलने और loss गिरने देते हैं, इसलिए वे असली code में लंबे समय तक बचे रहते हैं।

Softmax दो बार लगाया: loss probabilities को ऐसे देखता है जैसे वे अंक हों, gradients सिकुड़ते हैं, model एक batch भी याद नहीं कर सकता, और loss धीरे-धीरे नीचे रेंगता है। खिसके targets: हर label एक से ग़लत है, इसलिए model पूरी तरह अच्छी तरह सीखता है, बस ग़लत जवाब: training loss कम, validation accuracy शून्य के पास।

नीचे का हर मामला एक training run है जिसमें एक दोष रोपा गया है। हर एक के लिए: दोष ढूँढने के लिए probes ख़र्च करें, फिर config बदलावों के रूप में एक इलाज लिखें। इस पाठ के दोष: softmax_twice, shifted_targets, plus one fault from earlier। कम probes बेहतर है; एक अच्छे निदानकर्ता को शायद ही हर मामले पर दो से ज़्यादा चाहिए।

Probeयह आपको क्या बताता है
loss_curve(c)हर 50 steps का training loss और अंतिम validation accuracy। हमेशा पहले देखें।
loss_at_init(c)training से पहले का loss। एक ताज़ा 10-class model ln(10) = 2.30 के पास होना चाहिए।
overfit_one_batch(c)क्या यह 32 उदाहरण याद कर सकता है? एक स्वस्थ setup 0 के पास पहुँचता है।
grad_norms(c)शुरुआत में हर weight matrix का gradient आकार। शून्य का मतलब कुछ नहीं सीख सकता।
update_ratio(c)weight आकार के सापेक्ष सादा SGD step आकार। स्वस्थ लगभग 0.001 से 0.1 है (सादे SGD के लिए अंगूठे का एक नियम; Module 14 दिखाता है कि Adam क्यों अलग है)।
act_stats(c)छिपे activations: औसत, सबसे बड़ा मान, मरी units का हिस्सा।
lr_schedule(c)steps 0, 50, 100 वग़ैरह पर learning rate।
batch_labels(c)पहले कुछ batches में labels।
overlap(c)कितने validation उदाहरण training में भी दिखते हैं।
इस पाठ के शब्द और चिह्न
probe
एक run का एक जल्दी का माप, जैसे gradient आकार या मरी units
आपकी बारी

मामलों A, B और C के लिए diagnosis (मामले से दोष नाम) और fixes (मामले से config बदलावों की एक dictionary) भरें। एक इलाज को दोष हटाना होगा और कम से कम 90% validation accuracy तक train करना होगा।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।