पाठ्यक्रम 246 में से पाठ 100 · Module 8: Run Clinic I, टूटे runs का इलाज
Module 8: Run Clinic I, टूटे runs का इलाज

helper पर भरोसा करें?

यह क्यों मायने रखता है AI assistants ख़ुशी से आपके training runs का निदान करेंगे। वे अक्सर सही और कभी-कभी आत्मविश्वास से ग़लत होते हैं। कौशल यह जानना है कि कौन-सा, लहजे के बजाय सबूत इस्तेमाल करते हुए।

एक AI helper ने दस टूटे runs देखे हैं और हर एक के लिए एक दोष का नाम लिया है। उसके लगभग एक तिहाई जवाब ग़लत हैं, और वे ठीक सही वालों जितने आत्मविश्वासी लगते हैं। हर मामले के लिए, तय करें: स्वीकार या मना। हर फ़ैसला एक probe पर आधारित करें, इस पर नहीं कि दावा कितना विश्वसनीय लगता है।

आपका अंक फ़ैसला accuracy है: आपका स्वीकार या मना कितनी बार सच से मेल खाया। (यह calibration नहीं, जिसे Module 9 परिभाषित करता है: क्या आत्मविश्वास इससे मेल खाता है कि आप कितनी बार सही हैं।) उन दावों पर नज़र रखें जो कुछ लक्षणों में फ़िट होते हैं पर निर्णायक में नहीं: एक रुका loss एक बहुत नीची learning rate हो सकता है, या एक जो ठीक थी और फिर गिरी।

Probeयह आपको क्या बताता है
loss_curve(c)हर 50 steps का training loss और अंतिम validation accuracy। हमेशा पहले देखें।
loss_at_init(c)training से पहले का loss। एक ताज़ा 10-class model ln(10) = 2.30 के पास होना चाहिए।
overfit_one_batch(c)क्या यह 32 उदाहरण याद कर सकता है? एक स्वस्थ setup 0 के पास पहुँचता है।
grad_norms(c)शुरुआत में हर weight matrix का gradient आकार। शून्य का मतलब कुछ नहीं सीख सकता।
update_ratio(c)weight आकार के सापेक्ष सादा SGD step आकार। स्वस्थ लगभग 0.001 से 0.1 है (सादे SGD के लिए अंगूठे का एक नियम; Module 14 दिखाता है कि Adam क्यों अलग है)।
act_stats(c)छिपे activations: औसत, सबसे बड़ा मान, मरी units का हिस्सा।
lr_schedule(c)steps 0, 50, 100 वग़ैरह पर learning rate।
batch_labels(c)पहले कुछ batches में labels।
overlap(c)कितने validation उदाहरण training में भी दिखते हैं।
इस पाठ के शब्द और चिह्न
probe
एक run का एक जल्दी का माप, जैसे gradient आकार या मरी units
फ़ैसला accuracy
एक दावे का आपका स्वीकार या मना कितनी बार सच से मेल खाया
आपकी बारी

हर मामले A से J के लिए, verdicts[case] को True (helper सही है) या False पर सेट करें। आपको 10 में से कम से कम 9 सही चाहिए।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।