Gate: तीन अनदेखे टूटे runs (AI बंद)
यह क्यों मायने रखता है अकेले, एक budget के साथ निदान करना वह कौशल है जिसके लिए यह module है।
AI tutor बंद। तीन runs, हर एक में इस module में कहीं से एक दोष। वे नए runs हैं, अभ्यास मामले नहीं: दूसरे seeds, एक दूसरा batch आकार, और दूसरे आकार के दोष, इसलिए अभ्यास से याद संख्याएँ मेल नहीं खाएँगी। आपका budget कुल 9 probes है (एक मुहरबंद मामले को train करना एक गिना जाता है), पन्ना खुलने के बाद से हर run के पार गिना (उसी मामले पर एक probe दोहराना मुफ़्त है; एक ग़लत निदान या काम न करने वाला इलाज एक probe की क़ीमत है)।
नीचे का हर मामला एक training run है जिसमें एक दोष रोपा गया है। हर एक के लिए: दोष ढूँढने के लिए probes ख़र्च करें, फिर config बदलावों के रूप में एक इलाज लिखें। इस पाठ के दोष: any fault from this module। कम probes बेहतर है; एक अच्छे निदानकर्ता को शायद ही हर मामले पर दो से ज़्यादा चाहिए।
| Probe | यह आपको क्या बताता है |
|---|---|
loss_curve(c) | हर 50 steps का training loss और अंतिम validation accuracy। हमेशा पहले देखें। |
loss_at_init(c) | training से पहले का loss। एक ताज़ा 10-class model ln(10) = 2.30 के पास होना चाहिए। |
overfit_one_batch(c) | क्या यह 32 उदाहरण याद कर सकता है? एक स्वस्थ setup 0 के पास पहुँचता है। |
grad_norms(c) | शुरुआत में हर weight matrix का gradient आकार। शून्य का मतलब कुछ नहीं सीख सकता। |
update_ratio(c) | weight आकार के सापेक्ष सादा SGD step आकार। स्वस्थ लगभग 0.001 से 0.1 है (सादे SGD के लिए अंगूठे का एक नियम; Module 14 दिखाता है कि Adam क्यों अलग है)। |
act_stats(c) | छिपे activations: औसत, सबसे बड़ा मान, मरी units का हिस्सा। |
lr_schedule(c) | steps 0, 50, 100 वग़ैरह पर learning rate। |
batch_labels(c) | पहले कुछ batches में labels। |
overlap(c) | कितने validation उदाहरण training में भी दिखते हैं। |
इस पाठ के शब्द और चिह्न
- probe
- एक run का एक जल्दी का माप, जैसे gradient आकार या मरी units
मामलों A, B और C के लिए diagnosis (मामले से दोष नाम) और fixes (मामले से config बदलावों की एक dictionary) भरें। एक इलाज को दोष हटाना होगा और कम से कम 90% validation accuracy तक train करना होगा।
AI बंद: इसमें कोई ट्यूटर, संकेत या हल किया हुआ समाधान नहीं। सिर्फ़ आपकी अपनी सोच।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।