Attention एक नरम खोज है
यह क्यों मायने रखता है Attention एक transformer का एकमात्र नया विचार है। बाकी सब आप पहले से जानते हैं। यह एक dictionary खोज है जो, एक प्रविष्टि चुनने के बजाय, सबको मिलाती है।
इसे देखें
animation चलाएँ। एक Python dictionary एक key से ठीक मिलान करती है और एक value लौटाती है। Attention के पास एक query q, keys की एक सूची और values की एक सूची है। यह query को हर key के विरुद्ध एक dot product से अंक देता है, अंकों को softmax से weights में बदलता है (धनात्मक, जोड़कर 1), और values का भारित औसत लौटाता है।
weights = softmax(K @ q)
output = weights @ V
छोटी संख्याएँ
q = [1, 0]। Keys [2, 0], [0, 2], [0, 0] अंक 2, 0, 0 देती हैं। Softmax: e^2 = 7.39 और 1 और 1, इसलिए weights 0.79, 0.11, 0.11 हैं। values 10, 20, 30 के साथ output 0.79 गुणा 10 + 0.11 गुणा 20 + 0.11 गुणा 30 = 13.2 है: ज़्यादातर पहली value, बाकियों का थोड़ा।
Query, key, value: मैं क्या ढूँढ रहा हूँ; हर item मिलान के लिए क्या देता है; मिलान होने पर हर item क्या सौंपता है।
इस पाठ के शब्द और चिह्न
- query, key, value
- एक स्थिति क्या ढूँढती है; हर स्थिति मिलान के लिए क्या देती है; वह क्या सौंपती है
- attention
- query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
एक query के लिए attend(q, K, V) लिखें: (weights, output) लौटाएँ।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।