add और multiply के लिए backward
यह क्यों मायने रखता है इन दो नियमों और क्रम के साथ, आपका engine पहले से जोड़ों और गुणनफलों से बने किसी भी सूत्र का अवकलन कर सकता है।
हर operation अपने बनाए Tensor से एक छोटा function, _backward, जोड़ता है। बुलाए जाने पर, यह out.grad पढ़ता है और हर parent के grad में अपना हिस्सा जोड़ता है:
out = a + bके लिए: a कोout.gradमिलता है, b कोout.gradमिलता है।out = a * bके लिए: a कोout.grad * b.dataमिलता है, b कोout.grad * a.data।
हमेशा parent के grad में जोड़ें (+= शैली), कभी ऊपर न लिखें: दो बार इस्तेमाल हुए node को दोनों योगदान इकट्ठे करने होंगे। फिर backward() अंतिम node का grad 1 पर सेट करता है और हर _backward को उल्टे topological क्रम में बुलाता है।
(दिया गया unbroadcast helper, ऊपर import किया, broadcasting से खींचे आकार सँभालता है। आप दो पाठों में अपना version लिखेंगे; अभी के लिए, हर योगदान को उसमें लपेटें।)
इस पाठ के शब्द और चिह्न
- Tensor
- यहाँ: एक array, उसका gradient, और वे Tensors जिनसे वह आया
- topological order
- हर node उन nodes के बाद सूचीबद्ध जिन पर वह निर्भर है
- .grad
- इस Tensor के सापेक्ष अंतिम loss का gradient
- unbroadcast
- एक gradient को वापस उस आकार तक जोड़ना जिससे वह खींचा गया था
दो _backward functions और backward method भरें। छिपा test + और * मिलाते सूत्रों का gradient-जाँच करता है, दो बार इस्तेमाल हुए एक node समेत।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।