पाठ्यक्रम 246 में से पाठ 221 · Module 21: एक model के अंदर देखना
Module 21: एक model के अंदर देखना

कौन-से हिस्से मायने रखते हैं

यह क्यों मायने रखता है एक हिस्से को समझाने से पहले, पता करें कि क्या वह कुछ करता है। हिस्से हटाना (ablation) सबसे सस्ता effect है जो आप माप सकते हैं, और यह बदलता है कि आप कहाँ देखते हैं।

GPT के हर block में एक attention हिस्सा ('attn_out0', 'attn_out1' लिखता है) और एक MLP ('mlp_out0', 'mlp_out1' लिखता है) है। एक बार में एक हटाएँ (उसका output शून्य पर सेट करें) और held-out loss में बढ़त मापें। फिर interp.head_effects(model, X, Y, 1) से block 1 के चार heads में से हर एक को एक बार में एक हटाएँ।

एक जोखिम: अगर दो heads एक ही काम करते हैं, किसी एक को अकेले हटाना लगभग कुछ नहीं दिखाता। इसलिए चार अकेले-head बढ़तों के जोड़ की तुलना block 1 का सारा attention एक साथ हटाने से भी करें। अगर उन्हें साथ में हटाना जोड़ से बहुत ज़्यादा चोट पहुँचाता है, वे एक-दूसरे का backup हैं।

इस पाठ के शब्द और चिह्न
pattern, effect, mechanism
सबूत के तीन प्रकार: देखा और पाया; उसे बदला और output बदला; उसे समझाया और व्याख्या ने नए मामलों का अनुमान लगाया
ablation
एक हिस्सा हटाना (उसका output शून्य पर सेट करना) और मापना कि क्या बदलता है
आपकी बारी

चार हिस्सों के लिए rise भरें, चार अकेले-head बढ़तों से heads1, फिर backup को True पर सेट करें अगर block 1 का सारा attention हटाना उसके अकेले heads के जोड़ के दोगुने से ज़्यादा लेता है, और biggest को उस हिस्से पर जिसे हटाना सबसे महँगा है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।