पाठ्यक्रम 246 में से पाठ 219 · Module 21: एक model के अंदर देखना
Module 21: एक model के अंदर देखना

एक probe को एक control चाहिए

यह क्यों मायने रखता है एक probe (एक model के अंदर के vectors पर train किया एक छोटा linear classifier) interpretability का सबसे आम औज़ार है, और सबसे ज़्यादा बढ़ा-चढ़ाकर पढ़ा जाने वाला। ऊँची accuracy का मतलब हो सकता है model ने चीज़ निकाली, या probe ने।

आप Module 18 में linear probes से मिले। यहाँ, GPT के vectors पर दो जगहों पर एक train करें: 'embed' (अक्षर का embedding और उसकी स्थिति, किसी layer से पहले) और 'resid1' (पहले block के बाद)। तीन सवाल, हर अक्षर के लिए हर एक एक 0/1 label:

  • 'vowel': क्या यह अक्षर एक स्वर है?
  • 'control': क्या यह b, c, g, n, r, s, t में से एक है? एक अर्थहीन समूह, स्वरों जितना आम होने के लिए चुना (28.8% के मुक़ाबले अक्षरों का 28.7%)।
  • 'third letter': क्या यह अपने शब्द का तीसरा अक्षर है, या बाद का?

पहले अनुमान लगाएँ: अगर स्वर probe 100% के क़रीब अंक पाता है, क्या वह दिखाता है कि model ने सीखा है कि स्वर क्या है?

इस पाठ के शब्द और चिह्न
interpretability
पता करना कि एक प्रशिक्षित network अंदर क्या निकालता है, और उसे जाँचना
probe
एक model के अंदर के vectors से कुछ पढ़ने के लिए train किया एक छोटा linear classifier
आपकी बारी

my_guess को "yes" या "no" पर सेट करें। तीनों प्रकारों और दोनों जगहों के लिए scores[kind][site] को probe(site, kind) से भरें। फिर computed को उस एक प्रकार पर सेट करें जिसका probe कुछ ऐसा दिखाता है जो layer ने निकाला (block के बाद यह अकेले embedding से बहुत आसान है)।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।