पाठ्यक्रम 246 में से पाठ 148 · Module 13: Attention और transformers
Module 13: Attention और transformers

Attention को क्रम का कोई बोध नहीं

यह क्यों मायने रखता है "Dog bites man" और "man bites dog" वही शब्द इस्तेमाल करते हैं। Self-attention, अपने आप, उन्हें अलग नहीं बता सकता। यह देखना कि क्यों, उस अतिरिक्त सामग्री को समझाता है जो हर transformer जोड़ता है।

X की rows फेंटें और self-attention की output rows उसी तरह फेंटी जाती हैं, और कुछ नहीं बदलता। हर स्थिति का नतीजा इस पर निर्भर है कि कौन-से vectors मौजूद हैं, इस पर नहीं कि वे कहाँ बैठे हैं। (causal mask के साथ यह पूरी तरह सच नहीं: स्थिति i ठीक i + 1 tokens देखती है, इसलिए एक model उन्हें गिनना सीख सकता है, और बिना position vectors वाले causal models उस तरह क्रम सीखते हैं। पर यह धीमा और अविश्वसनीय है; स्पष्ट position vectors क्रम को आसान बनाते हैं।)

इसलिए transformers पहली layer से पहले हर token के embedding में एक position vector जोड़ते हैं। दर्ज GPT ने हर स्थिति का एक vector सीखा, उनमें से 32। अगर हम उन्हें मिटा दें तो उसके अनुमानों का क्या होता है?

इस पाठ के शब्द और चिह्न
attention
query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
self-attention
हर स्थिति उसी text की स्थितियों पर ध्यान देती है
causal mask
विकर्ण से ऊपर के अंक minus infinity पर सेट: कोई स्थिति भविष्य नहीं देखती
position vector
हर token में जोड़ा जाता है ताकि attention क्रम बता सके
आपकी बारी

shuffle_check(f) लिखें: True अगर एक बेतरतीब X की rows का क्रम बदलना f की output rows को उसी तरह बदलता है। यहाँ f(X, Wq, Wk, Wv) बस output लौटाता है, नीचे के attn की तरह; shuffle_check के अंदर बेतरतीब X और weights बनाएँ। फिर with_pos और without_pos भरें: दर्ज model का held-out loss (model.eval_loss(held, n=32)) जैसा है वैसा और model.P["pos"].data को शून्यों पर सेट करके (बाद में वापस रखें)।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।