पाठ्यक्रम 246 में से पाठ 55 · Module 4: आपका अपना autograd engine
Module 4: आपका अपना autograd engine

add और multiply के लिए backward

यह क्यों मायने रखता है इन दो नियमों और क्रम के साथ, आपका engine पहले से जोड़ों और गुणनफलों से बने किसी भी सूत्र का अवकलन कर सकता है।

हर operation अपने बनाए Tensor से एक छोटा function, _backward, जोड़ता है। बुलाए जाने पर, यह out.grad पढ़ता है और हर parent के grad में अपना हिस्सा जोड़ता है:

  • out = a + b के लिए: a को out.grad मिलता है, b को out.grad मिलता है।
  • out = a * b के लिए: a को out.grad * b.data मिलता है, b को out.grad * a.data।

हमेशा parent के grad में जोड़ें (+= शैली), कभी ऊपर न लिखें: दो बार इस्तेमाल हुए node को दोनों योगदान इकट्ठे करने होंगे। फिर backward() अंतिम node का grad 1 पर सेट करता है और हर _backward को उल्टे topological क्रम में बुलाता है।

(दिया गया unbroadcast helper, ऊपर import किया, broadcasting से खींचे आकार सँभालता है। आप दो पाठों में अपना version लिखेंगे; अभी के लिए, हर योगदान को उसमें लपेटें।)

इस पाठ के शब्द और चिह्न
Tensor
यहाँ: एक array, उसका gradient, और वे Tensors जिनसे वह आया
topological order
हर node उन nodes के बाद सूचीबद्ध जिन पर वह निर्भर है
.grad
इस Tensor के सापेक्ष अंतिम loss का gradient
unbroadcast
एक gradient को वापस उस आकार तक जोड़ना जिससे वह खींचा गया था
आपकी बारी

दो _backward functions और backward method भरें। छिपा test + और * मिलाते सूत्रों का gradient-जाँच करता है, दो बार इस्तेमाल हुए एक node समेत।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।