पाठ्यक्रम 246 में से पाठ 146 · Module 13: Attention और transformers
Module 13: Attention और transformers

attention से backward

यह क्यों मायने रखता है हर library यह आपके लिए निकालती है, पर यह बस चार steps है जो आप पहले से जानते हैं। इसे एक बार निकालना ही attention को एक ऐसी layer बनाता है जिसे आप समझते हैं, एक box नहीं जिसे आप बुलाते हैं।

Forward, एक sequence X (t स्थितियाँ गुणा d) के लिए: Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = row दर row softmax(S), out = A V। Backward उन्हीं steps से उल्टे जाता है, G = dL/d(out) दिए होने पर:

  1. out = A V एक matrix गुणा है (Module 2 का आकार नियम): dA = G VT और dV = AT G।
  2. A = softmax(S), row दर row (Module 2 का softmax gradient): dS = A * (dA - (dA * A).sum(-1, keepdims=True))।
  3. S = Q KT / sqrt(d): dQ = dS K / sqrt(d) और dK = dST Q / sqrt(d)।
  4. Q = X Wq (और K और V के लिए वही): dWq = XT dQ, dWk = XT dK, dWv = XT dV।

यहाँ d queries और keys की चौड़ाई है (Wq के columns की संख्या)। कहीं कोई नया नियम नहीं आता: attention का backward pass दो matrix गुणा और एक softmax है, पीछे की ओर चलाए।

सार steps को उल्टे क्रम में पलटें, हर एक उस नियम से जो आपके पास पहले से है।

इस पाठ के शब्द और चिह्न
query, key, value
एक स्थिति क्या ढूँढती है; हर स्थिति मिलान के लिए क्या देती है; वह क्या सौंपती है
attention
query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
आपकी बारी

बिना mask के out = softmax(Q KT / sqrt(d)) V के लिए (dWq, dWk, dWv) लौटाने वाला attention_backward(X, Wq, Wk, Wv, G) लिखें। छिपा test हर प्रविष्टि को धकेलने से जाँचता है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।