एक induction head की खोज
यह क्यों मायने रखता है induction head (Olsson et al. 2022) interpretability की सबसे मशहूर कहानी है: एक head मौजूदा token की पहले की copy ढूँढता है और उसके बाद के token पर ध्यान देता है, ताकि model एक दोहराव जारी रख सके। बड़े models में यह असली है। ग़लती यह मानना है कि एक छोटा model उसी तरह copy करता है क्योंकि वह copy करता है।
कोर्स ने एक 2-block GPT बस copy करने के लिए train किया: हर row 4 से 16 अक्षरों की एक बेतरतीब कतार है, 32 स्थितियाँ भरने के लिए दोहराई। पहली कतार का अनुमान नहीं लगाया जा सकता (loss लगभग ln 26 = 3.26); उसके बाद, हर अक्षर copy किया जा सकता है। model ने copy करना सीखा: दोहरावों पर उसका loss लगभग 0.13 से 0.15 है (यह sample पर निर्भर है)।
पाठ्यपुस्तक का अनुमान: कोई head अपना ज़्यादातर ध्यान मौजूदा अक्षर की पहले की copy के बाद के अक्षर पर रखता है। इसे मापें। हर head के लिए, ध्यान का हिस्सा, दोहराव स्थितियों पर औसत, जो उन स्थितियों j पर पड़ता है जहाँ j से पहले का अक्षर मौजूदा अक्षर के बराबर है। एकसमान ध्यान से तुलना करें, जो सारी पहले की स्थितियों पर बराबर फैलता है। फिर हर head हटाएँ और दोहराव loss मापें।
पहले अनुमान लगाएँ: क्या एक head अपने आधे से ज़्यादा ध्यान वहाँ रखेगा?
क्षेत्र अभी कहाँ है Induction heads असली हैं: Olsson et al. (2022) ने उन्हें साधारण text पर train किए models में, एक अचानक phase change में, बनते पाया, बस attention वाले दो-layer models समेत। यहाँ क्यों नहीं? इस model में MLPs और layer norm हैं, कई संभावित हलों वाले एक synthetic copying काम पर थोड़े समय train किया, और इसने एक और पाया। वही पाठ की बात है, और उसकी सीमा भी: एक खिलौना जो एक छपा effect नहीं दिखाता उसके विरुद्ध सबूत नहीं। इस कोर्स के छोटे models के नतीजे उन models के माप हैं; बड़े पैमाने पर, कुछ टिकेंगे और कुछ नहीं।
इस पाठ के शब्द और चिह्न
- interpretability
- पता करना कि एक प्रशिक्षित network अंदर क्या निकालता है, और उसे जाँचना
- pattern, effect, mechanism
- सबूत के तीन प्रकार: देखा और पाया; उसे बदला और output बदला; उसे समझाया और व्याख्या ने नए मामलों का अनुमान लगाया
- induction head
- एक head जो मौजूदा token की पहले की copy ढूँढता है और उसके बाद के token पर ध्यान देता है
my_guess को "yes" या "no" पर सेट करें। induction_share(A, X, Ls) लिखें: एक head के attention weights A (B, t, t) के लिए, rows b और दोहराव स्थितियों i (Ls[b] से t - 1 तक) पर, उन स्थितियों j ≤ i पर ध्यान का औसत जहाँ X[b, j - 1] == X[b, i] (j ≥ 1)। 8 heads के लिए share[(layer, head)] भरें और removed[(layer, head)] को उस head को शून्य पर सेट करने पर दोहराव loss से। needed को उस head पर सेट करें जिसे हटाना सबसे ज़्यादा चोट पहुँचाता है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।