नुस्खा, sequence models के लिए
यह क्यों मायने रखता है Module 8 की दो जाँचें (शुरुआत में loss, एक batch रटना) अब भी लागू होती हैं। Sequence models चुपचाप विफल होने के नए तरीके जोड़ते हैं, और दो सस्ती जाँचें कोई compute ख़र्च करने से पहले उनमें से सबसे बुरे पकड़ती हैं।
clinic का model एक नन्हा GPT है: चौड़ाई 16, 2 blocks, 2 heads, 16 अक्षरों का context, कोर्स text पर 200 Adam steps। यह कुछ seconds में train होता है, इसलिए आप जाँच कर सकते हैं।
जाँच 1: शुरुआती loss
छोटे weights वाला एक नया model अपने अनुमान V अक्षरों पर बराबर फैलाता है, इसलिए उसका loss ln(V) है। 95 अक्षरों के लिए वह 4.55 है। उससे बहुत ऊपर का मतलब है कुछ ग़लत scale हुआ है; बहुत नीचे का मतलब है model को ऐसी मदद मिल रही है जो उसे नहीं मिलनी चाहिए।
जाँच 2: कोई झाँकना नहीं
एक input का आख़िरी अक्षर बदलें। अगर किसी पहले की स्थिति का कोई अनुमान बदलता है, तो model भविष्य देख सकता है (Module 13), और आपको मिलने वाली हर training संख्या सच होने के लिए बहुत अच्छी है।
| Probe | यह आपको क्या बताता है | स्वस्थ run |
|---|---|---|
loss_curve(c) | हर 25 steps पर training loss, और अंत में अनदेखे text पर loss। हमेशा पहले देखें। | 4.55 से लगभग 2.9 तक; अनदेखा लगभग 3.0 |
loss_at_init(c) | training से पहले का loss। 95 अक्षरों पर बराबर अनुमान लगाता एक नया model ln(95) देता है। | 4.55 |
leak_check(c) | क्या एक बाद का अक्षर एक पहले के अनुमान को बदल सकता है? | False |
show_batch(c) | एक training input और उसका target, text के रूप में। | target = input एक अक्षर बाएँ खिसका |
update_ratio(c) | पहले Adam step के बाद, weights अपने आकार की तुलना में कितनी दूर हिले। Module 8 का नियम नहीं: वह 0.001 से 0.1 की सीमा सादे SGD steps के लिए है। Adam का पहला step हर weight को लगभग learning rate जितना हिलाता है उसका gradient जो भी हो, और ये weights लगभग 0.02 के पास शुरू होते हैं, इसलिए 0.01 / 0.02 लगभग 0.5 देता है। किसी case की तुलना इस स्वस्थ run से करें, Module 8 की सीमा से नहीं। | लगभग 0.5 |
block_change(c) | शुरुआत में पहला block हर vector को कितना बदलता है। | लगभग 0.3 |
इस पाठ के शब्द और चिह्न
- ln(V)
- V चिह्नों पर बराबर अनुमान लगाने वाले model का शुरुआती loss: 95 अक्षरों के लिए 4.55
- too good to be true
- स्वस्थ run से बहुत बेहतर training loss, बहुत बदतर अनदेखे-text loss
- block change
- शुरुआत में एक block एक vector को कितना बदलता है; 1 के पास का मतलब उसने उसे बदल डाला
clinic के अपने _init, _logits और DATA इस्तेमाल करते हुए expected_start(V) और my_leak_check(c) लिखें। उन्हें clinic के probes से सहमत होना होगा।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।