पाठ्यक्रम 246 में से पाठ 56 · Module 4: आपका अपना autograd engine
Module 4: आपका अपना autograd engine

matrix multiply के लिए backward

यह क्यों मायने रखता है Matrix multiply हर layer का मेहनती घोड़ा है। उसका backward नियम दो lines है, और आप उसे बस आकारों से निकाल सकते हैं।

छोटी संख्याएँ

out = A @ B लें, A आकार (2, 3) और B आकार (3, 4) के साथ, इसलिए out (2, 4) है। आता gradient, G, out का आकार (2, 4) रखता है। A के gradient का आकार A वाला (2, 3) होना चाहिए। G (2, 4) और B (3, 4) से (2, 3) बनाने का एकमात्र तरीका G @ B.T है। इसी तरह B का gradient (3, 4) A.T @ G होना चाहिए।

दिमाग़ में एक प्रविष्टि जाँचें: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]। A[0, 1] को धकेलें और out[0, 0] धक्के के B[1, 0] गुणा हिलता है। वह ठीक G @ B.T की प्रविष्टि (0, 1) है जब G (0, 0) पर 1 और बाकी जगह 0 हो।

सार dA = G @ B.T, dB = A.T @ G। अगर भूल जाएँ, आकार मिलाएँ।

इस पाठ के शब्द और चिह्न
Tensor
यहाँ: एक array, उसका gradient, और वे Tensors जिनसे वह आया
.grad
इस Tensor के सापेक्ष अंतिम loss का gradient
unbroadcast
एक gradient को वापस उस आकार तक जोड़ना जिससे वह खींचा गया था
आपकी बारी

उसके _backward के साथ __matmul__ लिखें। छिपा test बेतरतीब आकारों के लिए (A @ B) * C का gradient-जाँच करता है।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।