पाठ्यक्रम 246 में से पाठ 141 · Module 13: Attention और transformers
Module 13: Attention और transformers

Attention एक नरम खोज है

यह क्यों मायने रखता है Attention एक transformer का एकमात्र नया विचार है। बाकी सब आप पहले से जानते हैं। यह एक dictionary खोज है जो, एक प्रविष्टि चुनने के बजाय, सबको मिलाती है।

इसे देखें

animation चलाएँ। एक Python dictionary एक key से ठीक मिलान करती है और एक value लौटाती है। Attention के पास एक query q, keys की एक सूची और values की एक सूची है। यह query को हर key के विरुद्ध एक dot product से अंक देता है, अंकों को softmax से weights में बदलता है (धनात्मक, जोड़कर 1), और values का भारित औसत लौटाता है।

weights = softmax(K @ q)
output  = weights @ V

छोटी संख्याएँ

q = [1, 0]। Keys [2, 0], [0, 2], [0, 0] अंक 2, 0, 0 देती हैं। Softmax: e^2 = 7.39 और 1 और 1, इसलिए weights 0.79, 0.11, 0.11 हैं। values 10, 20, 30 के साथ output 0.79 गुणा 10 + 0.11 गुणा 20 + 0.11 गुणा 30 = 13.2 है: ज़्यादातर पहली value, बाकियों का थोड़ा।

Query, key, value: मैं क्या ढूँढ रहा हूँ; हर item मिलान के लिए क्या देता है; मिलान होने पर हर item क्या सौंपता है।

इस पाठ के शब्द और चिह्न
query, key, value
एक स्थिति क्या ढूँढती है; हर स्थिति मिलान के लिए क्या देती है; वह क्या सौंपती है
attention
query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
आपकी बारी

एक query के लिए attend(q, K, V) लिखें: (weights, output) लौटाएँ।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।