कई heads, वही लागत
यह क्यों मायने रखता है हर layer का एक attention pattern सीमित करता है: एक स्थिति पिछले अक्षर को और, उसी समय, शब्द की शुरुआत को देखना चाह सकती है। Multi-head attention कई छोटे attentions अगल-बगल चलाता है।
इसे देखें
animation चलाएँ। Q, K और V के d columns को d / H के H समूहों में बाँटें। हर समूह (एक head) अपने pattern के साथ अपना attention करता है। H outputs को वापस अगल-बगल d columns में चिपकाएँ, फिर उन्हें एक और matrix Wo से मिलाएँ।
लागत: एक बड़े head वाले ही matrices, बस टुकड़ों में कटे, इसलिए parameter गिनती नहीं बदलती। हर head संकरा है, इसलिए यह d / H के square root से भाग देता है।
इस पाठ के शब्द और चिह्न
- attention
- query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
- head
- अगल-बगल चलते H संकरे attentions में से एक, हर एक अपने pattern के साथ
output और H attention matrices की एक सूची लौटाने वाला multi_head(X, Wq, Wk, Wv, Wo, H) (बिना mask) लिखें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।