पाठ्यक्रम 246 में से पाठ 155 · Module 13: Attention और transformers
Module 13: Attention और transformers

heads क्या देखते हैं

यह क्यों मायने रखता है Attention weights पढ़े जा सकते हैं। प्रशिक्षित heads क्या करते हैं यह देखना interpretability की शुरुआत है: एक model को उसके अंदर से समझना, बस उसके outputs से नहीं।

दर्ज चौड़ाई-64 model में 4 heads की 2 layers हैं। हर head के लिए, मापें कि एक स्थिति, औसतन, ठीक अपने से पहले के अक्षर को कितना ध्यान देती है। अगर एक head अपना ध्यान हर उस चीज़ पर बराबर फैलाता जो वह देख सकता है, वह संख्या एक 32-अक्षर snippet पर लगभग 0.10 होती।

अनुमान लगाएँ: किस layer के heads "पिछला अक्षर देखो" में विशेषज्ञ हैं?

इस पाठ के शब्द और चिह्न
attention
query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
head
अगल-बगल चलते H संकरे attentions में से एक, हर एक अपने pattern के साथ
आपकी बारी

my_guess को 0 या 1 पर सेट करें। एक t गुणा t attention matrix के लिए prev_share(A) लिखें: i 1 से t - 1 तक के लिए A[i, i - 1] का औसत। attention_maps इस्तेमाल करते हुए, share भरें: (layer, head) से 40 held-out snippets पर prev_share का औसत।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।