Softmax और cross-entropy साथ में
यह क्यों मायने रखता है इस कोर्स का हर classifier softmax और cross-entropy पर ख़त्म होता है। उनका मिला gradient deep learning के सबसे काम के नतीजों में से एक है, और यह छोटा है।
छोटी संख्याएँ
Logits [2, 1, 0], softmax [0.665, 0.245, 0.090], सही class 0 (one-hot [1, 0, 0])। logits के सापेक्ष loss का gradient बस softmax घटा one-hot है: [-0.335, 0.245, 0.090]। शब्दों में: सही class का अंक उतना ऊपर धकेलें जितना वह कम पड़ा, और हर दूसरे अंक को उतना नीचे धकेलें जितनी probability उसने ग़लत ली।
One-hot: शून्यों का एक vector जिसमें सही class पर एक अकेला 1 है।
एक batch के लिए, rows पर औसत लें: (softmax(Z) - onehot) / n।
सार Gradient = अनुमान घटा सच, फिर से।
इस पाठ के शब्द और चिह्न
- one-hot
- सही class पर एक अकेले 1 के साथ शून्य
- gradient check
- अपने gradient सूत्र की धकेलो-और-मापो अनुमान से तुलना करना
औसत cross-entropy और Z (आकार (batch, classes)) के सापेक्ष उसका gradient लौटाने वाला loss_and_grad(Z, labels) लिखें। एक स्थिर softmax इस्तेमाल करें। जमा करने से पहले इसे अपने gradient checker से ख़ुद जाँचें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।