पाठ्यक्रम 246 में से पाठ 97 · Module 8: Run Clinic I, टूटे runs का इलाज
Module 8: Run Clinic I, टूटे runs का इलाज

Clinic: डेटा दोष

यह क्यों मायने रखता है "bug हमेशा model में है" झूठ है। डेटा दोष आम हैं और वे अच्छी तरह छिपते हैं, क्योंकि training loop ख़ुद ठीक है।

रिसाव: validation set में training उदाहरण हैं, इसलिए validation accuracy शानदार दिखती है और उसका कोई मतलब नहीं। न फेंटना: batches एक बार में एक class आते हैं, model जो भी class आख़िर में देखी उसका पीछा करता है, और मिले-जुले डेटा पर accuracy ख़राब है। ग़लत labels: कई training labels बेतरतीब हैं, इसलिए training loss बहुत नहीं गिर सकता भले ही model एक batch याद कर सके।

नीचे का हर मामला एक training run है जिसमें एक दोष रोपा गया है। हर एक के लिए: दोष ढूँढने के लिए probes ख़र्च करें, फिर config बदलावों के रूप में एक इलाज लिखें। इस पाठ के दोष: leak, no_shuffle, noisy_labels। कम probes बेहतर है; एक अच्छे निदानकर्ता को शायद ही हर मामले पर दो से ज़्यादा चाहिए।

Probeयह आपको क्या बताता है
loss_curve(c)हर 50 steps का training loss और अंतिम validation accuracy। हमेशा पहले देखें।
loss_at_init(c)training से पहले का loss। एक ताज़ा 10-class model ln(10) = 2.30 के पास होना चाहिए।
overfit_one_batch(c)क्या यह 32 उदाहरण याद कर सकता है? एक स्वस्थ setup 0 के पास पहुँचता है।
grad_norms(c)शुरुआत में हर weight matrix का gradient आकार। शून्य का मतलब कुछ नहीं सीख सकता।
update_ratio(c)weight आकार के सापेक्ष सादा SGD step आकार। स्वस्थ लगभग 0.001 से 0.1 है (सादे SGD के लिए अंगूठे का एक नियम; Module 14 दिखाता है कि Adam क्यों अलग है)।
act_stats(c)छिपे activations: औसत, सबसे बड़ा मान, मरी units का हिस्सा।
lr_schedule(c)steps 0, 50, 100 वग़ैरह पर learning rate।
batch_labels(c)पहले कुछ batches में labels।
overlap(c)कितने validation उदाहरण training में भी दिखते हैं।
इस पाठ के शब्द और चिह्न
probe
एक run का एक जल्दी का माप, जैसे gradient आकार या मरी units
रिसाव
test या validation जानकारी का training तक पहुँचना
आपकी बारी

मामलों A, B और C के लिए diagnosis (मामले से दोष नाम) और fixes (मामले से config बदलावों की एक dictionary) भरें। एक इलाज को दोष हटाना होगा और कम से कम 90% validation accuracy तक train करना होगा।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।