लहरों के रूप में स्थितियाँ
यह क्यों मायने रखता है सीखे position vectors training में देखे सबसे लंबे text पर रुक जाते हैं। मूल transformer ने इसके बजाय तय लहरें इस्तेमाल कीं, जो हर स्थिति को एक अनोखा pattern देती हैं और "3 steps दूर" को जहाँ भी हो एक जैसा दिखाती हैं।
स्थिति p और जोड़ा index i (0, 1, 2, ...) के लिए, कुल d संख्याओं के साथ:
PE[p, 2i] = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))
पहला जोड़ा एक तेज़ लहर है, बाद के जोड़े धीमे और धीमे, एक घड़ी की सुइयों की तरह: seconds, minutes, hours। साथ में वे हर स्थिति को एक अलग पढ़ाई देते हैं।
काम का गुण: dot product PE[p] . PE[p + k] बस k, दूरी, पर निर्भर है, p पर नहीं। (हर जोड़ा कोण अंतर का cos देता है, सर्वसमिका sin a sin b + cos a cos b = cos(a - b) से।)
क्षेत्र अभी कहाँ है आज ज़्यादातर खुले language models न input में जोड़ी लहरें इस्तेमाल करते हैं न सीखे position vectors। RoPE (rotary position embedding, Su et al. 2021) हर query और key vector को एक कोण से घुमाता है जो उसकी स्थिति के साथ बढ़ता है, query और key projections के बाद, ताकि दो स्थितियों के बीच का अंक बस इस पर निर्भर हो कि वे कितनी दूर हैं। ALiBi (Press et al. 2021) कोई position vectors नहीं जोड़ता: यह हर attention अंक से एक दंड घटाता है जो दूरी के साथ बढ़ता है। दोनों training वालों से लंबे texts पर बेहतर चलते हैं। यहाँ की लहरें मूल transformer का चुनाव हैं और देखने में सबसे आसान।
इस पाठ के शब्द और चिह्न
- query, key, value
- एक स्थिति क्या ढूँढती है; हर स्थिति मिलान के लिए क्या देती है; वह क्या सौंपती है
- attention
- query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
- position vector
- हर token में जोड़ा जाता है ताकि attention क्रम बता सके
एक n गुणा d array लौटाने वाला positions(n, d) लिखें। फिर same_distance को p = 0 से 50 पर PE[p] . PE[p + 5] के बीच सबसे बड़े अंतर पर सेट करें (यह लगभग 0 होना चाहिए)।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।