पाठ्यक्रम 246 में से पाठ 57 · Module 4: आपका अपना autograd engine
Module 4: आपका अपना autograd engine

जब आकार खिंचते हैं तब backward (broadcasting)

यह क्यों मायने रखता है यह दुनिया का सबसे आम autograd bug है। आकार (32, 4) के एक batch में जोड़ा गया आकार (4,) का एक bias 32 बार इस्तेमाल होता है, इसलिए उसके gradient को सारे 32 योगदान जोड़ने होंगे।

छोटी संख्याएँ

out = X + b, X (3, 2) और b (2,) के साथ। आता gradient (3, 2) है। b सारी 3 rows में copy हुआ, इसलिए हर copy को एक हिस्सा मिला: b का gradient rows पर जोड़ है, आकार (2,)। अगर आप (3, 2) array वापस देते हैं, आकार अब मेल नहीं खाते, या बदतर, broadcasting इसे छिपाता है और संख्याएँ 3 गुना ग़लत हैं।

नियम: जहाँ भी broadcasting ने एक दिशा जोड़ी, उसे जोड़कर हटाएँ; जहाँ भी उसने एक आकार-1 दिशा खींची, उसे जोड़ें पर आकार 1 रखें।

सार आगे copy का मतलब पीछे जोड़।

इस पाठ के शब्द और चिह्न
autograd
स्वचालित gradients: आप forward pass लिखते हैं, engine backward करता है
Tensor
यहाँ: एक array, उसका gradient, और वे Tensors जिनसे वह आया
.grad
इस Tensor के सापेक्ष अंतिम loss का gradient
unbroadcast
एक gradient को वापस उस आकार तक जोड़ना जिससे वह खींचा गया था
आपकी बारी

unbroadcast(grad, shape) लिखें: grad को shape तक जोड़ें। आपके add और multiply पहले से इसे बुलाते हैं।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।