matrix multiply के लिए backward
यह क्यों मायने रखता है Matrix multiply हर layer का मेहनती घोड़ा है। उसका backward नियम दो lines है, और आप उसे बस आकारों से निकाल सकते हैं।
छोटी संख्याएँ
out = A @ B लें, A आकार (2, 3) और B आकार (3, 4) के साथ, इसलिए out (2, 4) है। आता gradient, G, out का आकार (2, 4) रखता है। A के gradient का आकार A वाला (2, 3) होना चाहिए। G (2, 4) और B (3, 4) से (2, 3) बनाने का एकमात्र तरीका G @ B.T है। इसी तरह B का gradient (3, 4) A.T @ G होना चाहिए।
दिमाग़ में एक प्रविष्टि जाँचें: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]। A[0, 1] को धकेलें और out[0, 0] धक्के के B[1, 0] गुणा हिलता है। वह ठीक G @ B.T की प्रविष्टि (0, 1) है जब G (0, 0) पर 1 और बाकी जगह 0 हो।
सार dA = G @ B.T, dB = A.T @ G। अगर भूल जाएँ, आकार मिलाएँ।
इस पाठ के शब्द और चिह्न
- Tensor
- यहाँ: एक array, उसका gradient, और वे Tensors जिनसे वह आया
- .grad
- इस Tensor के सापेक्ष अंतिम loss का gradient
- unbroadcast
- एक gradient को वापस उस आकार तक जोड़ना जिससे वह खींचा गया था
उसके _backward के साथ __matmul__ लिखें। छिपा test बेतरतीब आकारों के लिए (A @ B) * C का gradient-जाँच करता है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।