Programma Les 92 van 250 · Je eerste Machine Learning modellen
Je eerste Machine Learning modellen

Verder dan nauwkeurigheid: precisie, recall & F1

Je zag de valkuil in de vorige les: als 95% van de e-mails geen spam is, scoort een model dat altijd "not spam" gokt 0.95 accuracy terwijl het nul spam vangt. Bij elk imbalanced probleem is accuracy misleidend. De oplossing is om te kijken naar welk soort fouten het model maakt, met de confusion matrix.

Voor een ja/nee classifier (label 1 = de positieve klasse, bijv. "spam"), valt elke voorspelling in een van vier vakken:

TP  true positive   predicted 1, actually 1   (caught real spam)
FP  false positive  predicted 1, actually 0   (flagged a good email)
FN  false negative  predicted 0, actually 1   (missed real spam)
TN  true negative   predicted 0, actually 0   (left a good email alone)

Drie getallen vallen uit die tellingen, en dat is wat echte teams daadwerkelijk rapporteren:

  • Precision = TP / (TP + FP). Van alles wat je gemarkeerd hebt, hoeveel was juist? Lage precisie = vals alarm.
  • Recall = TP / (TP + FN). Van alles wat je had moeten vangen, hoeveel heb je dan gevangen? Lage recall = het missen van de echte gevallen.
  • F1 = 2 * P * R / (P + R), het harmonisch gemiddelde. Eén getal dat alleen hoog is wanneer ZOWELL precisie en recall hoog zijn, dus het luie volledig negatieve model (recall 0) krijgt F1 = 0 en wordt ontmaskerd.

Precision en recall trade off: vink alles aan en recall hits 1.0 maar precision keldert; vink niets aan en precision is ongedefinieerd maar je vangt niets. F1 houdt je eerlijk. Wanneer een noemer nul is (je voorspelde geen positieven, of er zijn geen), rapporteer die metric als 0.0 in plaats van delen door nul.

Bouw twee functies. confusion(y_true, y_pred) geeft het tuple (tp, fp, fn, tn) terug over twee lijsten van 0/1 labels met dezelfde lengte. prf(y_true, y_pred) geeft {"precision", "recall", "f1"} terug berekend uit die aantallen (0.0 bij een noer nul in de noemer). De verborgen tests controleren je getallen tegen scikit-learn, dus de definities moeten exact zijn. Druk op Run om een onevenwichtige classifier te scoren.

Jij bent aan de beurt

Schrijf confusion(y_true, y_pred) die (tp, fp, fn, tn) teruggeeft voor twee lijsten van gelijke lengte met 0/1 labels (1 is de positieve klasse), en prf(y_true, y_pred) die {"precision", "recall", "f1"} teruggeeft waar precision = TP/(TP+FP), recall = TP/(TP+FN), en f1 = 2*P*R/(P+R). Geef 0.0 terug voor elke metriek waarvan de noemer nul is (deel nooit door nul). Je resultaten worden gecontroleerd tegen scikit-learn.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.