पाठ्यक्रम 246 में से पाठ 149 · Module 13: Attention और transformers
Module 13: Attention और transformers

लहरों के रूप में स्थितियाँ

यह क्यों मायने रखता है सीखे position vectors training में देखे सबसे लंबे text पर रुक जाते हैं। मूल transformer ने इसके बजाय तय लहरें इस्तेमाल कीं, जो हर स्थिति को एक अनोखा pattern देती हैं और "3 steps दूर" को जहाँ भी हो एक जैसा दिखाती हैं।

स्थिति p और जोड़ा index i (0, 1, 2, ...) के लिए, कुल d संख्याओं के साथ:

PE[p, 2i]     = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))

पहला जोड़ा एक तेज़ लहर है, बाद के जोड़े धीमे और धीमे, एक घड़ी की सुइयों की तरह: seconds, minutes, hours। साथ में वे हर स्थिति को एक अलग पढ़ाई देते हैं।

काम का गुण: dot product PE[p] . PE[p + k] बस k, दूरी, पर निर्भर है, p पर नहीं। (हर जोड़ा कोण अंतर का cos देता है, सर्वसमिका sin a sin b + cos a cos b = cos(a - b) से।)

क्षेत्र अभी कहाँ है आज ज़्यादातर खुले language models न input में जोड़ी लहरें इस्तेमाल करते हैं न सीखे position vectors। RoPE (rotary position embedding, Su et al. 2021) हर query और key vector को एक कोण से घुमाता है जो उसकी स्थिति के साथ बढ़ता है, query और key projections के बाद, ताकि दो स्थितियों के बीच का अंक बस इस पर निर्भर हो कि वे कितनी दूर हैं। ALiBi (Press et al. 2021) कोई position vectors नहीं जोड़ता: यह हर attention अंक से एक दंड घटाता है जो दूरी के साथ बढ़ता है। दोनों training वालों से लंबे texts पर बेहतर चलते हैं। यहाँ की लहरें मूल transformer का चुनाव हैं और देखने में सबसे आसान।

इस पाठ के शब्द और चिह्न
query, key, value
एक स्थिति क्या ढूँढती है; हर स्थिति मिलान के लिए क्या देती है; वह क्या सौंपती है
attention
query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
position vector
हर token में जोड़ा जाता है ताकि attention क्रम बता सके
आपकी बारी

एक n गुणा d array लौटाने वाला positions(n, d) लिखें। फिर same_distance को p = 0 से 50 पर PE[p] . PE[p + 5] के बीच सबसे बड़े अंतर पर सेट करें (यह लगभग 0 होना चाहिए)।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।