attention से backward
यह क्यों मायने रखता है हर library यह आपके लिए निकालती है, पर यह बस चार steps है जो आप पहले से जानते हैं। इसे एक बार निकालना ही attention को एक ऐसी layer बनाता है जिसे आप समझते हैं, एक box नहीं जिसे आप बुलाते हैं।
Forward, एक sequence X (t स्थितियाँ गुणा d) के लिए: Q = X Wq, K = X Wk, V = X Wv, S = Q KT / sqrt(d), A = row दर row softmax(S), out = A V। Backward उन्हीं steps से उल्टे जाता है, G = dL/d(out) दिए होने पर:
- out = A V एक matrix गुणा है (Module 2 का आकार नियम): dA = G VT और dV = AT G।
- A = softmax(S), row दर row (Module 2 का softmax gradient): dS = A * (dA - (dA * A).sum(-1, keepdims=True))।
- S = Q KT / sqrt(d): dQ = dS K / sqrt(d) और dK = dST Q / sqrt(d)।
- Q = X Wq (और K और V के लिए वही): dWq = XT dQ, dWk = XT dK, dWv = XT dV।
यहाँ d queries और keys की चौड़ाई है (Wq के columns की संख्या)। कहीं कोई नया नियम नहीं आता: attention का backward pass दो matrix गुणा और एक softmax है, पीछे की ओर चलाए।
सार steps को उल्टे क्रम में पलटें, हर एक उस नियम से जो आपके पास पहले से है।
इस पाठ के शब्द और चिह्न
- query, key, value
- एक स्थिति क्या ढूँढती है; हर स्थिति मिलान के लिए क्या देती है; वह क्या सौंपती है
- attention
- query-key अंकों का softmax, values का औसत लेने के लिए इस्तेमाल
बिना mask के out = softmax(Q KT / sqrt(d)) V के लिए (dWq, dWk, dWv) लौटाने वाला attention_backward(X, Wq, Wk, Wv, G) लिखें। छिपा test हर प्रविष्टि को धकेलने से जाँचता है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।