पाठ्यक्रम 250 में से पाठ 92 · आपके पहले मशीन लर्निंग मॉडल
आपके पहले मशीन लर्निंग मॉडल

Accuracy से आगे: precision, recall और F1

आपने पिछले पाठ में जाल देखा: अगर 95% ईमेल spam नहीं हैं, तो हमेशा "not spam" कहने वाला मॉडल शून्य spam पकड़ते हुए 0.95 accuracy ले आता है। किसी भी असंतुलित समस्या पर accuracy झूठ बोलती है। इलाज है यह देखना कि मॉडल किस तरह की ग़लतियाँ करता है, confusion matrix के साथ।

हाँ/ना वाले classifier के लिए (label 1 = positive class, जैसे "spam"), हर अनुमान चार डिब्बों में से एक में गिरता है:

TP  true positive   predicted 1, actually 1   (caught real spam)
FP  false positive  predicted 1, actually 0   (flagged a good email)
FN  false negative  predicted 0, actually 1   (missed real spam)
TN  true negative   predicted 0, actually 0   (left a good email alone)

उन गिनतियों से तीन संख्याएँ निकलती हैं, और असली टीमें यही बताती हैं:

  • Precision = TP / (TP + FP)। आपने जो कुछ चिह्नित किया, उसमें से कितना सही था? कम precision = बार-बार झूठा शोर।
  • Recall = TP / (TP + FN)। जो कुछ आपको पकड़ना चाहिए था, उसमें से कितना पकड़ा? कम recall = असली मामलों को चूकना।
  • F1 = 2 * P * R / (P + R), harmonic mean। एक संख्या जो तभी ऊँची होती है जब precision और recall दोनों ऊँचे हों, इसलिए सब-negative कहने वाला आलसी मॉडल (recall 0) F1 = 0 लाता है और पकड़ा जाता है।

Precision और recall में अदला-बदली है: सब कुछ चिह्नित करें तो recall 1.0 पर पहुँचता है पर precision गिर जाती है; कुछ भी चिह्नित न करें तो precision अपरिभाषित है पर आप कुछ नहीं पकड़ते। F1 आपको ईमानदार रखता है। जब कोई हर (denominator) शून्य हो (आपने कोई positive अनुमान नहीं लगाया, या कोई है ही नहीं), तो शून्य से भाग देने के बजाय उस metric को 0.0 बताएँ।

दो फ़ंक्शन बनाएँ। confusion(y_true, y_pred) 0/1 labels की दो बराबर लंबाई वाली सूचियों पर tuple (tp, fp, fn, tn) लौटाता है। prf(y_true, y_pred) उन गिनतियों से निकाला {"precision", "recall", "f1"} लौटाता है (किसी भी शून्य हर पर 0.0)। छिपे टेस्ट आपकी संख्याओं को scikit-learn से मिलाकर जाँचते हैं, इसलिए परिभाषाएँ सटीक होनी चाहिए। एक असंतुलित classifier को score करने के लिए Run दबाएँ।

आपकी बारी

confusion(y_true, y_pred) लिखें जो 0/1 labels की दो बराबर लंबाई वाली सूचियों (1 positive class है) के लिए (tp, fp, fn, tn) लौटाए, और prf(y_true, y_pred) जो {"precision", "recall", "f1"} लौटाए जहाँ precision = TP/(TP+FP), recall = TP/(TP+FN), और f1 = 2*P*R/(P+R)। जिस metric का हर शून्य हो उसके लिए 0.0 लौटाएँ (कभी शून्य से भाग न दें)। आपके नतीजे scikit-learn से मिलाकर जाँचे जाते हैं।

इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें

यह अभ्यास जल्द खुलेगा

इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।