एक कदम में softmax और cross-entropy
यह क्यों मायने रखता है आप softmax को exp, sum और divide से बना सकते थे, पर नतीजा धीमा है और overflow हो सकता है। हर असली library softmax और cross-entropy को एक operation में जोड़ती है जिसका सरल gradient आपने Module 3 में निकाला।
एक जुड़ा operation अपना forward एक बार में निकालता है (सुरक्षा के लिए max-खिसकाव के साथ) और उसका एक backward नियम है: (softmax - onehot) / n, गुणा आता gradient। एक network के लिए आपको relu भी चाहिए: gradient वहाँ से गुज़ारें जहाँ input धनात्मक था।
सार जो जोड़ सकें जोड़ें; मिला gradient अपने हिस्सों से सरल है।
इस पाठ के शब्द और चिह्न
- Tensor
- यहाँ: एक array, उसका gradient, और वे Tensors जिनसे वह आया
- .grad
- इस Tensor के सापेक्ष अंतिम loss का gradient
- unbroadcast
- एक gradient को वापस उस आकार तक जोड़ना जिससे वह खींचा गया था
उनके backward नियमों के साथ relu और cross_entropy(labels) (logits के एक (batch, classes) Tensor पर, एक scalar Tensor लौटाते हुए) लिखें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।