जब आकार खिंचते हैं तब backward (broadcasting)
यह क्यों मायने रखता है यह दुनिया का सबसे आम autograd bug है। आकार (32, 4) के एक batch में जोड़ा गया आकार (4,) का एक bias 32 बार इस्तेमाल होता है, इसलिए उसके gradient को सारे 32 योगदान जोड़ने होंगे।
छोटी संख्याएँ
out = X + b, X (3, 2) और b (2,) के साथ। आता gradient (3, 2) है। b सारी 3 rows में copy हुआ, इसलिए हर copy को एक हिस्सा मिला: b का gradient rows पर जोड़ है, आकार (2,)। अगर आप (3, 2) array वापस देते हैं, आकार अब मेल नहीं खाते, या बदतर, broadcasting इसे छिपाता है और संख्याएँ 3 गुना ग़लत हैं।
नियम: जहाँ भी broadcasting ने एक दिशा जोड़ी, उसे जोड़कर हटाएँ; जहाँ भी उसने एक आकार-1 दिशा खींची, उसे जोड़ें पर आकार 1 रखें।
सार आगे copy का मतलब पीछे जोड़।
इस पाठ के शब्द और चिह्न
- autograd
- स्वचालित gradients: आप forward pass लिखते हैं, engine backward करता है
- Tensor
- यहाँ: एक array, उसका gradient, और वे Tensors जिनसे वह आया
- .grad
- इस Tensor के सापेक्ष अंतिम loss का gradient
- unbroadcast
- एक gradient को वापस उस आकार तक जोड़ना जिससे वह खींचा गया था
unbroadcast(grad, shape) लिखें: grad को shape तक जोड़ें। आपके add और multiply पहले से इसे बुलाते हैं।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।