पाठ्यक्रम 246 में से पाठ 161 · Module 14: Run Clinic II, sequence models का इलाज
Module 14: Run Clinic II, sequence models का इलाज

Clinic: step आकार और शुरुआती weights

यह क्यों मायने रखता है Module 8 की learning-rate और पैमाने की गड़बड़ियाँ लौटती हैं, उन पर Adam की उँगलियों के निशान के साथ।

Adam के साथ, पहले step पर हर weight लगभग learning rate जितना हिलता है, उसका gradient जो भी हो। इसलिए update अनुपात step आकार का सीधा पाठ है: स्वस्थ run में लगभग 0.5 (लगभग 0.02 के weights के मुक़ाबले 0.01), लगभग 15 जब rate बहुत ज़्यादा ऊँची हो (loss तब इधर-उधर लुढ़कता है), और लगभग 0.0005 जब यह बहुत ज़्यादा नीची हो (loss मुश्किल से 4.55 छोड़ता है)। बहुत बड़े शुरुआती weights पहले ही अनुमानों को बेहद आत्मविश्वासी और ग़लत बनाते हैं: शुरुआती loss 4.55 से बहुत ऊपर है।

नीचे का हर case एक training run है जिसमें एक गड़बड़ी लगाई गई है। हर एक के लिए: गड़बड़ी ढूँढने के लिए probes ख़र्च करें, फिर config बदलावों के रूप में एक इलाज लिखें जो run को वापस स्वस्थ करे। इस पाठ की गड़बड़ियाँ: lr_too_high, lr_too_low, init_too_big। एक अच्छे निदानकर्ता को शायद ही कभी हर case पर दो से ज़्यादा probes चाहिए।

Probeयह आपको क्या बताता हैस्वस्थ run
loss_curve(c)हर 25 steps पर training loss, और अंत में अनदेखे text पर loss। हमेशा पहले देखें।4.55 से लगभग 2.9 तक; अनदेखा लगभग 3.0
loss_at_init(c)training से पहले का loss। 95 अक्षरों पर बराबर अनुमान लगाता एक नया model ln(95) देता है।4.55
leak_check(c)क्या एक बाद का अक्षर एक पहले के अनुमान को बदल सकता है?False
show_batch(c)एक training input और उसका target, text के रूप में।target = input एक अक्षर बाएँ खिसका
update_ratio(c)पहले Adam step के बाद, weights अपने आकार की तुलना में कितनी दूर हिले। Module 8 का नियम नहीं: वह 0.001 से 0.1 की सीमा सादे SGD steps के लिए है। Adam का पहला step हर weight को लगभग learning rate जितना हिलाता है उसका gradient जो भी हो, और ये weights लगभग 0.02 के पास शुरू होते हैं, इसलिए 0.01 / 0.02 लगभग 0.5 देता है। किसी case की तुलना इस स्वस्थ run से करें, Module 8 की सीमा से नहीं।लगभग 0.5
block_change(c)शुरुआत में पहला block हर vector को कितना बदलता है।लगभग 0.3
इस पाठ के शब्द और चिह्न
ln(V)
V चिह्नों पर बराबर अनुमान लगाने वाले model का शुरुआती loss: 95 अक्षरों के लिए 4.55
block change
शुरुआत में एक block एक vector को कितना बदलता है; 1 के पास का मतलब उसने उसे बदल डाला
आपकी बारी

cases A, B और C के लिए diagnosis (case से गड़बड़ी का नाम) और fixes (case से config बदलावों की एक dictionary) भरें। आपके इलाज के बाद, हर setting को स्वस्थ run से मेल खाना होगा।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।