Verder dan nauwkeurigheid: precisie, recall & F1
Je zag de valkuil in de vorige les: als 95% van de e-mails geen spam is, scoort een model dat altijd "not spam" gokt 0.95 accuracy terwijl het nul spam vangt. Bij elk imbalanced probleem is accuracy misleidend. De oplossing is om te kijken naar welk soort fouten het model maakt, met de confusion matrix.
Voor een ja/nee classifier (label 1 = de positieve klasse, bijv. "spam"), valt elke voorspelling in een van vier vakken:
TP true positive predicted 1, actually 1 (caught real spam)
FP false positive predicted 1, actually 0 (flagged a good email)
FN false negative predicted 0, actually 1 (missed real spam)
TN true negative predicted 0, actually 0 (left a good email alone)Drie getallen vallen uit die tellingen, en dat is wat echte teams daadwerkelijk rapporteren:
- Precision =
TP / (TP + FP). Van alles wat je gemarkeerd hebt, hoeveel was juist? Lage precisie = vals alarm. - Recall =
TP / (TP + FN). Van alles wat je had moeten vangen, hoeveel heb je dan gevangen? Lage recall = het missen van de echte gevallen. - F1 =
2 * P * R / (P + R), het harmonisch gemiddelde. Eén getal dat alleen hoog is wanneer ZOWELL precisie en recall hoog zijn, dus het luie volledig negatieve model (recall 0) krijgt F1 = 0 en wordt ontmaskerd.
Precision en recall trade off: vink alles aan en recall hits 1.0 maar precision keldert; vink niets aan en precision is ongedefinieerd maar je vangt niets. F1 houdt je eerlijk. Wanneer een noemer nul is (je voorspelde geen positieven, of er zijn geen), rapporteer die metric als 0.0 in plaats van delen door nul.
Bouw twee functies. confusion(y_true, y_pred) geeft het tuple (tp, fp, fn, tn) terug over twee lijsten van 0/1 labels met dezelfde lengte. prf(y_true, y_pred) geeft {"precision", "recall", "f1"} terug berekend uit die aantallen (0.0 bij een noer nul in de noemer). De verborgen tests controleren je getallen tegen scikit-learn, dus de definities moeten exact zijn. Druk op Run om een onevenwichtige classifier te scoren.
Schrijf confusion(y_true, y_pred) die (tp, fp, fn, tn) teruggeeft voor twee lijsten van gelijke lengte met 0/1 labels (1 is de positieve klasse), en prf(y_true, y_pred) die {"precision", "recall", "f1"} teruggeeft waar precision = TP/(TP+FP), recall = TP/(TP+FN), en f1 = 2*P*R/(P+R). Geef 0.0 terug voor elke metriek waarvan de noemer nul is (deel nooit door nul). Je resultaten worden gecontroleerd tegen scikit-learn.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.