पाठ्यक्रम 246 में से पाठ 223 · Module 21: एक model के अंदर देखना
Module 21: एक model के अंदर देखना

जगह से ज़्यादा features: superposition

यह क्यों मायने रखता है अगर हर unit का एक मतलब होता, एक network पढ़ना आसान होता। आमतौर पर ऐसा नहीं होता, और Elhage et al. (2022) का खिलौना model दिखाता है क्यों: एक network अपनी संख्याओं से ज़्यादा features रख सकता है, बशर्ते features शायद ही कभी साथ में चालू हों।

खिलौना: 5 features, हर एक ज़्यादातर समय 0 और नहीं तो 0 और 1 के बीच एक संख्या। एक matrix W (2 गुणा 5) उन्हें बस 2 संख्याओं में दबाता है, h = W x, और model उन्हें relu(WT h + b) के रूप में वापस पढ़ता है। feature i loss में 0.9i जितना मायने रखता है (feature 0 सबसे ज़्यादा)। W का column i वह दिशा है जहाँ feature i रखा है; शून्य के पास का column मतलब feature छोड़ा गया।

interp.superposition(sparsity=s) इसे train करता है (s = हर feature के 0 होने की संभावना)। interp.stored(W) उसके रखे features सूचीबद्ध करता है और interp.angles(W) उनके बीच के कोण।

पहले अनुमान लगाएँ: जब features शायद ही कभी चालू हों (sparsity 0.97), 2 संख्याएँ 5 में से कितने रख सकती हैं?

इस पाठ के शब्द और चिह्न
superposition
संख्याओं से ज़्यादा features रखना, ऐसी दिशाओं के रूप में जो शायद ही कभी साथ में चालू हों
आपकी बारी

my_guess को 2 से 5 तक की एक संख्या पर सेट करें। sparsity 0, 0.7 और 0.97 (seed 0) पर train करें और kept[s] को रखे features की संख्या से, और smallest_angle[s] को दो रखे features के बीच सबसे छोटे कोण से भरें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।