पाठ्यक्रम 246 में से पाठ 227 · Module 21: एक model के अंदर देखना
Module 21: एक model के अंदर देखना

अंदर क्या बदला: लहरें

यह क्यों मायने रखता है Nanda et al. (2023) ने दिखाया कि modular addition grok करने वाले networks अंत में इसे लहरों से निकालते हैं: हर संख्या कुछ वृत्तों पर एक बिंदु बनती है, और संख्याएँ जोड़ना कोण जोड़ने में बदल जाता है। यह उन कुछ मामलों में से एक है जहाँ एक पूरा mechanism पाया गया और फिर जाँचा गया।

हर embedding column को 23 मानों की एक सूची के रूप में पढ़ें, संख्या 0 से 22 तक हर एक का एक, और उसे frequency 1 से 11 की लहरों में बाँटें (frequency k की एक लहर 0 से 22 तक k बार घूमती है; यह बँटवारा Fourier transform है)। interp.frequency_shares(emb) embedding में हर frequency का हिस्सा देता है (उनका जोड़ 1 है)। अगर model कुछ लहरें इस्तेमाल करता है, कुछ frequencies उसका ज़्यादातर हिस्सा रखती हैं; बराबर फैलने पर, शीर्ष 3 3/11 = 0.27 रखतीं।

अकेला एक pattern काफ़ी नहीं: interp.keep_frequencies(emb, keep) से बस कुछ frequencies से embedding फिर बनाएँ और test accuracy मापें। अगर शीर्ष 3 mechanism हैं, बस उन्हें रखना ज़्यादातर accuracy रखना चाहिए, और बस उन्हें हटाना उसे नष्ट करना चाहिए।

इस पाठ के शब्द और चिह्न
pattern, effect, mechanism
सबूत के तीन प्रकार: देखा और पाया; उसे बदला और output बदला; उसे समझाया और व्याख्या ने नए मामलों का अनुमान लगाया
Fourier transform
मानों की एक सूची को अलग frequencies की लहरों में बाँटना
आपकी बारी

g = interp.grok_model() load करें (weight decay 3 वाला दर्ज run, 40,000 steps के बाद)। top3 को उसकी तीन सबसे बड़ी frequencies पर, top3_share को उनके कुल हिस्से पर, और तीन embeddings के लिए test_acc सेट करें: 'all', 'only top 3' और 'all but top 3'।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।