पाठ्यक्रम 246 में से पाठ 231 · Module 22: दावों को परखना
Module 22: दावों को परखना

आप एक हिस्सा कैसे हटाते हैं यह जवाब बदलता है

यह क्यों मायने रखता है "इस हिस्से को हटाने से loss X बढ़ता है" हिस्से के बारे में एक तथ्य जैसा लगता है। इसका कुछ हिस्सा इस बारे में एक तथ्य है कि उसे कैसे हटाया गया।

Module 21 में आपने GPT के हिस्से उनका output शून्य करके हटाए। पर network के बाक़ी ने training में वहाँ कभी शून्य नहीं देखा: शून्य एक ऐसा input हो सकता है जिससे यह कभी नहीं मिला, इसलिए नुक़सान जानकारी के खोने के साथ झटका भी मापता है। एक नरम हटाना output को कई inputs पर उसके औसत से बदलता है (mean ablation): हिस्सा इस input के बारे में कुछ ले जाना बंद करता है, पर अगली layer को फिर भी सामान्य आकार का एक मान मिलता है।

चारों हिस्सों के लिए दोनों मापें: 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'। औसत cache[site].mean((0, 1)) से आता है।

पहले अनुमान लगाएँ: block 0 के MLP के लिए, क्या mean ablation की क़ीमत शून्य करने से कम होगी, या लगभग वही?

इस पाठ के शब्द और चिह्न
mean ablation
एक हिस्से के output को शून्य के बजाय उसके औसत से बदलना
आपकी बारी

my_guess को "less" या "same" पर सेट करें। zero[site] और mean[site] को loss में बढ़त से भरें। most_overstated को उस हिस्से पर सेट करें जहाँ शून्य करना असर को सबसे ज़्यादा बढ़ा-चढ़ाकर बताता है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।