पाठ्यक्रम 246 में से पाठ 226 · Module 21: एक model के अंदर देखना
Module 21: एक model के अंदर देखना

Grokking: पहले रटें, बाद में समझें

यह क्यों मायने रखता है Power et al. (2022) ने एक network को सटीक training accuracy तक पहुँचते, लंबे समय तक test data पर संयोग पर बैठे, फिर अचानक सामान्यीकरण करते देखा। यह सबसे साफ़ मामला है जहाँ अंदर देखने ने कुछ ऐसा समझाया जो loss वक्र नहीं समझा सका।

काम: a + b modulo 23 (23 से भाग देने के बाद शेष; इसलिए 20 + 5 है 2)। 23 x 23 = 529 जोड़ हैं; model एक बेतरतीब आधे पर train होता है और दूसरे आधे पर test होता है। हर संख्या को 32 का एक embedding मिलता है; दोनों embeddings 128 की एक ReLU layer से गुज़रकर 23 अंकों तक जाते हैं। यह हर step पूरे आधे पर train होता है, AdamW (Module 5) के साथ।

इसे 1,500 steps के लिए live train करें, फिर कोर्स के दर्ज 40,000-step runs पढ़ें (एक laptop पर हर एक लगभग 11 seconds, एक पाठ के लिए बहुत लंबा), weight decay 3 के साथ और बिना।

पहले अनुमान लगाएँ: 1,500 steps के बाद, train accuracy 100% होगी। test accuracy क्या होगी?

इस पाठ के शब्द और चिह्न
grokking
training accuracy के सटीक होने के बहुत बाद test accuracy का बढ़ना
आपकी बारी

my_guess को "near 0", "near 50%" या "near 100%" पर सेट करें। 1,500 steps train करें और live को (train accuracy, test accuracy) से भरें। runs = interp.recorded()['grok'] से, हर run के 'curve' में rows (step, train accuracy, test accuracy, top-3 share) हैं: half_way को weight decay 3 के साथ पहले उस step पर सेट करें जहाँ test accuracy 0.5 तक पहुँचती है, और final_test को हर run की आख़िरी test accuracy पर।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।