classification के लिए accuracy बनाम precision/recall/F1
LLM काम का एक बड़ा हिस्सा असल में classification है: इस ticket को route करो, इस भावना को label करो, इस संदेश को spam चिह्नित करो। उनके लिए अकेली accuracy एक जाल है। ऐसे mailbox पर spam filter बनाएँ जो 95% ham है और सब कुछ ham label करने वाला मॉडल शून्य spam पकड़ते हुए 95% accuracy लाता है। संख्या बढ़िया दिखती है; product बेकार है। यह देखने के लिए आपको उस class के लिए precision, recall, और F1 अलग-अलग चाहिए जिसकी आपको सचमुच परवाह है।
एक positive class चुनें (मान लें spam) और चार डिब्बे गिनें:
- TP true positives: spam का अनुमान, था spam।
- FP false positives: spam का अनुमान, था ham (एक अच्छा ईमेल junk में भेजा गया)।
- FN false negatives: ham का अनुमान, था spam (spam जो फिसल गया)।
precision = TP / (TP + FP) # of what I flagged, how much was right
recall = TP / (TP + FN) # of the real positives, how many I caught
f1 = 2 * P * R / (P + R)
accuracy = correct / total # all classes, all predictionsये अलग दिशाओं में खींचते हैं। ज़ोर से चिह्नित करें तो recall बढ़ता है जबकि precision गिरती है; संभलकर चिह्नित करें तो उल्टा। F1 वह अकेली संख्या है जो किसी को भी गिरने नहीं देती। असंतुलित set पर accuracy और F1 बहुत अलग होते हैं, और उन्हें अलग निकालने का पूरा मक़सद यही है।
आप इन्हें हाथ से लागू करेंगे क्योंकि interviews के लिए सूत्र ज़ुबानी याद रखने लायक हैं। पर जब एक टेस्ट की हुई library मौजूद हो तो आपको कभी हाथ से बने metrics भेजने नहीं चाहिए, इसलिए टेस्ट आपकी संख्याओं को scikit-learn के precision_score, recall_score, और f1_score से भी मिलाते हैं। अगर आप sklearn से मेल खाते हैं, तो आपने सही लागू किया।
from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")क्या बनाना है। classification_metrics(y_true, y_pred, positive_label) जो एक dict {"accuracy", "precision", "recall", "f1"} लौटाए, हर एक 4 दशमलव तक round किया। शून्य-denominator वाले मामलों (कोई अनुमानित positive नहीं, कोई असली positive नहीं) से बचाव करें, उस metric के लिए शून्य से भाग देने के बजाय 0.0 लौटाकर। एक रिपोर्ट print करने और असंतुलित set पर accuracy और F1 को असहमत होते देखने के लिए Run दबाएँ।
classification_metrics(y_true, y_pred, positive_label) लिखें जो चुनी positive class के लिए {'accuracy', 'precision', 'recall', 'f1'} लौटाए, हर एक 4 दशमलव तक round किया। positive_label के सामने TP/FP/FN गिनें; precision = TP/(TP+FP), recall = TP/(TP+FN), f1 = harmonic mean, accuracy = सही/कुल। जिस metric का denominator शून्य हो उसके लिए 0.0 लौटाएँ। आपकी संख्याओं को scikit-learn के precision_score/recall_score/f1_score से मेल खाना होगा।
इस पाठ में कोई समस्या दिखी? बताएँ · इस पाठ के बारे में पूछें
यह अभ्यास जल्द खुलेगा
इससे पहले वाला पाठ पूरा करें और यह खुल जाएगा। पूरा कोर्स मुफ़्त है, कोई खाता नहीं चाहिए, और आप यह पाठ अभी पढ़ सकते हैं।
यह ब्राउज़र learn.floati.life के लिए कुकी रोक रहा है, इसलिए यहाँ पूरे किए गए पाठ क्रम से नहीं खुल सकते। इस साइट के लिए कुकी की अनुमति दें और फिर से लोड करें।