पाठ्यक्रम 246 में से पाठ 59 · Module 4: आपका अपना autograd engine
Module 4: आपका अपना autograd engine

एक कदम में softmax और cross-entropy

यह क्यों मायने रखता है आप softmax को exp, sum और divide से बना सकते थे, पर नतीजा धीमा है और overflow हो सकता है। हर असली library softmax और cross-entropy को एक operation में जोड़ती है जिसका सरल gradient आपने Module 3 में निकाला।

एक जुड़ा operation अपना forward एक बार में निकालता है (सुरक्षा के लिए max-खिसकाव के साथ) और उसका एक backward नियम है: (softmax - onehot) / n, गुणा आता gradient। एक network के लिए आपको relu भी चाहिए: gradient वहाँ से गुज़ारें जहाँ input धनात्मक था।

सार जो जोड़ सकें जोड़ें; मिला gradient अपने हिस्सों से सरल है।

इस पाठ के शब्द और चिह्न
Tensor
यहाँ: एक array, उसका gradient, और वे Tensors जिनसे वह आया
.grad
इस Tensor के सापेक्ष अंतिम loss का gradient
unbroadcast
एक gradient को वापस उस आकार तक जोड़ना जिससे वह खींचा गया था
आपकी बारी

उनके backward नियमों के साथ relu और cross_entropy(labels) (logits के एक (batch, classes) Tensor पर, एक scalar Tensor लौटाते हुए) लिखें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।