पाठ्यक्रम 246 में से पाठ 147 · Module 13: Attention और transformers
Module 13: Attention और transformers

कई heads, वही लागत

यह क्यों मायने रखता है हर layer का एक attention pattern सीमित करता है: एक स्थिति पिछले अक्षर को और, उसी समय, शब्द की शुरुआत को देखना चाह सकती है। Multi-head attention कई छोटे attentions अगल-बगल चलाता है।

इसे देखें

animation चलाएँ। Q, K और V के d columns को d / H के H समूहों में बाँटें। हर समूह (एक head) अपने pattern के साथ अपना attention करता है। H outputs को वापस अगल-बगल d columns में चिपकाएँ, फिर उन्हें एक और matrix Wo से मिलाएँ।

लागत: एक बड़े head वाले ही matrices, बस टुकड़ों में कटे, इसलिए parameter गिनती नहीं बदलती। हर head संकरा है, इसलिए यह d / H के square root से भाग देता है।

इस पाठ के शब्द और चिह्न
attention
query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
head
अगल-बगल चलते H संकरे attentions में से एक, हर एक अपने pattern के साथ
आपकी बारी

output और H attention matrices की एक सूची लौटाने वाला multi_head(X, Wq, Wk, Wv, Wo, H) (बिना mask) लिखें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।