Clinic: बहुत अच्छा, या बहुत अटका
यह क्यों मायने रखता है सबसे ख़तरनाक runs वे हैं जो बढ़िया दिखते हैं। एक model जो अपने जवाब देख सकता है एक शानदार training loss बताता है और बेकार है।
कोई mask नहीं: model अगले अक्षर में झाँक सकता है, इसलिए उसका training loss एक स्वस्थ run से ज़्यादा गिरता है, जबकि अनदेखे text पर उसका loss (ईमानदारी से, बस पहले के अक्षरों से मापा) बहुत बदतर है। Targets नहीं खिसकाए: target ख़ुद input है, इसलिए model उस अक्षर को copy करना सीखता है जिसे वह देख रहा है। training loss लगभग 0 की ओर जाता है, और अनदेखे text पर यह भयानक है। कोई residual नहीं: हर block h में जोड़ने के बजाय उसे बदलता है, इसलिए ढेर train करना कठिन है और loss जल्दी रुक जाता है।
नीचे का हर case एक training run है जिसमें एक गड़बड़ी लगाई गई है। हर एक के लिए: गड़बड़ी ढूँढने के लिए probes ख़र्च करें, फिर config बदलावों के रूप में एक इलाज लिखें जो run को वापस स्वस्थ करे। इस पाठ की गड़बड़ियाँ: no_mask, targets_not_shifted, no_residual। एक अच्छे निदानकर्ता को शायद ही कभी हर case पर दो से ज़्यादा probes चाहिए।
| Probe | यह आपको क्या बताता है | स्वस्थ run |
|---|---|---|
loss_curve(c) | हर 25 steps पर training loss, और अंत में अनदेखे text पर loss। हमेशा पहले देखें। | 4.55 से लगभग 2.9 तक; अनदेखा लगभग 3.0 |
loss_at_init(c) | training से पहले का loss। 95 अक्षरों पर बराबर अनुमान लगाता एक नया model ln(95) देता है। | 4.55 |
leak_check(c) | क्या एक बाद का अक्षर एक पहले के अनुमान को बदल सकता है? | False |
show_batch(c) | एक training input और उसका target, text के रूप में। | target = input एक अक्षर बाएँ खिसका |
update_ratio(c) | पहले Adam step के बाद, weights अपने आकार की तुलना में कितनी दूर हिले। Module 8 का नियम नहीं: वह 0.001 से 0.1 की सीमा सादे SGD steps के लिए है। Adam का पहला step हर weight को लगभग learning rate जितना हिलाता है उसका gradient जो भी हो, और ये weights लगभग 0.02 के पास शुरू होते हैं, इसलिए 0.01 / 0.02 लगभग 0.5 देता है। किसी case की तुलना इस स्वस्थ run से करें, Module 8 की सीमा से नहीं। | लगभग 0.5 |
block_change(c) | शुरुआत में पहला block हर vector को कितना बदलता है। | लगभग 0.3 |
इस पाठ के शब्द और चिह्न
- ln(V)
- V चिह्नों पर बराबर अनुमान लगाने वाले model का शुरुआती loss: 95 अक्षरों के लिए 4.55
- block change
- शुरुआत में एक block एक vector को कितना बदलता है; 1 के पास का मतलब उसने उसे बदल डाला
cases A, B और C के लिए diagnosis (case से गड़बड़ी का नाम) और fixes (case से config बदलावों की एक dictionary) भरें। आपके इलाज के बाद, हर setting को स्वस्थ run से मेल खाना होगा।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।