Convolution backward
यह क्यों मायने रखता है अपने filters सीखने के लिए, एक CNN को हर filter weight के सापेक्ष loss का gradient चाहिए। पता चलता है कि यह एक और convolution है।
छोटी संख्याएँ, पहले 1D में
Input x = [1, 2, 3, 4], filter w = [10, 20], valid output y = [1*10 + 2*20, 2*10 + 3*20, 3*10 + 4*20] = [50, 80, 110]। Weight w[0] ने x[0], x[1], x[2] छुए (हर output पर एक बार), इसलिए उसका gradient g[0]*x[0] + g[1]*x[1] + g[2]*x[2] है: आते gradient g के विरुद्ध सरकाया input। Input x[1] y[0] (w[1] के साथ) और y[1] (w[0] के साथ) में इस्तेमाल हुआ, इसलिए उसका gradient g[0]*w[1] + g[1]*w[0] इकट्ठा करता है।
नियम
- Filter gradient: input को आते gradient के विरुद्ध सरकाएँ (g के साथ x का एक valid correlation)।
- Input gradient: g को pad करें और उस पर filter, पलटा, सरकाएँ (एक full convolution)।
2D में वही विचार। इस पाठ के बाद घर की library में Conv2d खुलता है।
इस पाठ के शब्द और चिह्न
- convolution
- weights का एक छोटा grid (एक filter) एक image पर सरकाना, हर स्थिति पर एक dot product
- filter, feature map
- weights का छोटा सीखा grid; और उसकी प्रतिक्रियाओं की image
conv1d(x, w) (valid) और (dx, dw) लौटाने वाला conv1d_backward(x, w, g) लिखें। फिर 2D valid convolution के लिए (dimg, dk) लौटाने वाला conv2d_backward(img, k, g)। छिपा test हर gradient को एक धक्के से जाँचता है।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।