Cross-entropy भेस में likelihood है
यह क्यों मायने रखता है Classifiers cross-entropy कहलाने वाले loss से train होते हैं। यह नया लगता है, पर यह दो पाठ पहले का likelihood विचार है।
छोटी संख्याएँ
एक model कहता है अंकों 0, 1 और 2 की probabilities [0.665, 0.245, 0.090] हैं। सच्चा अंक 0 है। model ने सच को कितना संभावित सोचा? 0.665। maximum likelihood के अंतर्गत हम वह संख्या बड़ी चाहते हैं; एक loss के रूप में हम कुछ छोटा चाहते हैं, इसलिए हम उसके log का ऋण लेते हैं: -log(0.665) = 0.408।
अगर सच्चा अंक 2 होता, loss -log(0.090) = 2.41 होता: model ने सच को बस 9% दिया, इसलिए उसे कड़ी सज़ा मिलती है। एक सटीक अनुमान (probability 1) का loss 0 है।
Cross-entropy loss: model ने सच्चे जवाब को जो probability दी उसके log का ऋण, उदाहरणों पर औसत। यह ठीक negative log-likelihood है।
हर row से एक प्रविष्टि चुनना
एक batch के साथ आपको, हर row के लिए, उस row के सच्चे column की probability चाहिए। NumPy यह एक ही लंबाई के दो index arrays से करता है: probs[rows, cols] probs[rows[0], cols[0]], probs[rows[1], cols[1]] वग़ैरह चुनता है। probs = [[0.7, 0.3], [0.2, 0.8]] और labels [0, 1] के साथ, probs[np.arange(2), labels] [0.7, 0.8] देता है: row 0 column 0, फिर row 1 column 1। इसे fancy indexing कहते हैं।
एक काम का निशान: 10 classes पर एकसमान अनुमान लगाने वाला model हर एक को 0.1 देता है, इसलिए उसका loss -log(0.1) = 2.30 है। एक नया classifier वहीं के पास शुरू होता है।
सार Loss = -log(सच को दी probability)।
इस पाठ के शब्द और चिह्न
- likelihood
- model की एक setting के अंतर्गत आपका देखा data कितना संभावित है
- cross-entropy
- सही जवाब को दी probability के log का ऋण
cross_entropy(probs, labels) लिखें: probs probabilities का (batch, classes) है, labels हर row की सच्ची class रखता है; -log(सच्ची class की probability) का औसत लौटाएँ। कोई loops नहीं। फिर uniform_10_loss को 10 classes पर एकसमान अनुमान के loss पर सेट करें।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।