एक मान वापस रखें: activation patching
यह क्यों मायने रखता है Activation patching (Meng et al. 2022, Wang et al. 2022) एक run से दूसरे में एक मान ले जाकर "यह हिस्सा जवाब से मेल खाता है" को "यह हिस्सा जवाब ले जाता है" में बदलता है।
दो inputs जो एक अक्षर में अलग हैं:
- clean: "the gradient of the los": GPT अगले अक्षर "s" को 0.91 की probability देता है।
- corrupted: "the gradient of the bos": 0.39।
corrupted input चलाएँ, पर एक जगह और एक स्थिति पर, clean run से vector बदल दें। अगर "s" की probability वापस 0.91 पर उछलती है, वह vector वह ले जा रहा था जो "l" ने model को बताया। interp.patch(model, clean_ids, bad_ids, site, pos) बदलाव करता है और logits लौटाता है; interp.next_prob(logits, answer, model) probability पढ़ता है।
इसे आख़िरी पाँच स्थितियों के लिए 'resid0' (block 0 से पहले, इसलिए बस embeddings), 'resid1' (blocks के बीच) और 'final' पर आज़माएँ।
पहले अनुमान लगाएँ: 'resid1' पर, क्या "l" अब भी अपनी स्थिति पर ले जाया जाता है, या कहीं और?
इस पाठ के शब्द और चिह्न
- activation patching
- एक input को दूसरे input के run से लिए एक मान के साथ चलाना, यह देखने के लिए कि वह मान क्या ले जाता है
my_guess को "own position" या "somewhere else" पर सेट करें। restored[site] को पाँच probabilities की एक सूची से भरें, len(clean) - 5 से अंत तक हर स्थिति की एक। फिर where[site] को उस स्थिति पर clean के अक्षर पर सेट करें जो उसे बहाल करती है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।