Attention को क्रम का कोई बोध नहीं
यह क्यों मायने रखता है "Dog bites man" और "man bites dog" वही शब्द इस्तेमाल करते हैं। Self-attention, अपने आप, उन्हें अलग नहीं बता सकता। यह देखना कि क्यों, उस अतिरिक्त सामग्री को समझाता है जो हर transformer जोड़ता है।
X की rows फेंटें और self-attention की output rows उसी तरह फेंटी जाती हैं, और कुछ नहीं बदलता। हर स्थिति का नतीजा इस पर निर्भर है कि कौन-से vectors मौजूद हैं, इस पर नहीं कि वे कहाँ बैठे हैं। (causal mask के साथ यह पूरी तरह सच नहीं: स्थिति i ठीक i + 1 tokens देखती है, इसलिए एक model उन्हें गिनना सीख सकता है, और बिना position vectors वाले causal models उस तरह क्रम सीखते हैं। पर यह धीमा और अविश्वसनीय है; स्पष्ट position vectors क्रम को आसान बनाते हैं।)
इसलिए transformers पहली layer से पहले हर token के embedding में एक position vector जोड़ते हैं। दर्ज GPT ने हर स्थिति का एक vector सीखा, उनमें से 32। अगर हम उन्हें मिटा दें तो उसके अनुमानों का क्या होता है?
इस पाठ के शब्द और चिह्न
- attention
- query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
- self-attention
- हर स्थिति उसी text की स्थितियों पर ध्यान देती है
- causal mask
- विकर्ण से ऊपर के अंक minus infinity पर सेट: कोई स्थिति भविष्य नहीं देखती
- position vector
- हर token में जोड़ा जाता है ताकि attention क्रम बता सके
shuffle_check(f) लिखें: True अगर एक बेतरतीब X की rows का क्रम बदलना f की output rows को उसी तरह बदलता है। यहाँ f(X, Wq, Wk, Wv) बस output लौटाता है, नीचे के attn की तरह; shuffle_check के अंदर बेतरतीब X और weights बनाएँ। फिर with_pos और without_pos भरें: दर्ज model का held-out loss (model.eval_loss(held, n=32)) जैसा है वैसा और model.P["pos"].data को शून्यों पर सेट करके (बाद में वापस रखें)।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।