पाठ्यक्रम 246 में से पाठ 47 · Module 3: Neuron से MLP तक
Module 3: Neuron से MLP तक

Softmax और cross-entropy साथ में

यह क्यों मायने रखता है इस कोर्स का हर classifier softmax और cross-entropy पर ख़त्म होता है। उनका मिला gradient deep learning के सबसे काम के नतीजों में से एक है, और यह छोटा है।

छोटी संख्याएँ

Logits [2, 1, 0], softmax [0.665, 0.245, 0.090], सही class 0 (one-hot [1, 0, 0])। logits के सापेक्ष loss का gradient बस softmax घटा one-hot है: [-0.335, 0.245, 0.090]। शब्दों में: सही class का अंक उतना ऊपर धकेलें जितना वह कम पड़ा, और हर दूसरे अंक को उतना नीचे धकेलें जितनी probability उसने ग़लत ली।

One-hot: शून्यों का एक vector जिसमें सही class पर एक अकेला 1 है।

एक batch के लिए, rows पर औसत लें: (softmax(Z) - onehot) / n।

सार Gradient = अनुमान घटा सच, फिर से।

इस पाठ के शब्द और चिह्न
one-hot
सही class पर एक अकेले 1 के साथ शून्य
gradient check
अपने gradient सूत्र की धकेलो-और-मापो अनुमान से तुलना करना
आपकी बारी

औसत cross-entropy और Z (आकार (batch, classes)) के सापेक्ष उसका gradient लौटाने वाला loss_and_grad(Z, labels) लिखें। एक स्थिर softmax इस्तेमाल करें। जमा करने से पहले इसे अपने gradient checker से ख़ुद जाँचें।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।