Nauwkeurigheid vs Precisie/Recall/F1 voor Classificatie
Een groot deel van het LLM werk is echt classification: routeer dit ticket, label dit sentiment, markeer deze bericht als spam. Voor die zaken is alleen nauwkeurigheid een valkuil. Bouw een spamfilter op een mailbox die voor 95% ham bestaat en een model dat everything ham scoort met 95% nauwkeurigheid terwijl het nul spam vangt. Het getal ziet er geweldig uit; het product is nutteloos. Om dat te zien heb je precisie, recall en F1 nodig uitgesplitst voor de klasse waar je echt om geeft.
Kies een positive class (bijvoorbeeld spam) en tel vier emmers:
- TP true positives: voorspelde spam, was spam.
- FP false positives: voorspelde spam, was ham (een goede e-mail gestuurd naar junk).
- FN false negatives: voorspelde ham, was spam (spam dat erdoorheen gleed).
precision = TP / (TP + FP) # of what I flagged, how much was right
recall = TP / (TP + FN) # of the real positives, how many I caught
f1 = 2 * P * R / (P + R)
accuracy = correct / total # all classes, all predictionsDeze trekken in verschillende richtingen. Flag agressief en recall stijgt terwijl precisie daalt; flag conservatief en het omgekeerde. F1 is het enige getal dat weigert om een van beide te laten instorten. Bij een ongebalanceerde set wijken nauwkeurigheid en F1 sterk uiteen, wat precies de reden is om ze apart te berekenen.
Je gaat deze handmatig implementeren omdat de formules belangrijk zijn om uit je hoofd te kennen voor interviews. Maar je moet nooit ship handgemaakte metrics gebruiken als er een geteste bibliotheek bestaat, dus de tests controleren ook je getallen tegen scikit-learn's precision_score, recall_score, en f1_score. Als je overeenkomt met sklearn, heb je het goed geïmplementeerd.
from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")Wat je moet bouwen. classification_metrics(y_true, y_pred, positive_label) een dict retourneren {"accuracy", "precision", "recall", "f1"}, elk rounded tot 4 decimalen. Bescherm de gevallen met een nul in de noemer (geen voorspelde positieven, geen werkelijke positieven) door 0.0 voor die metric te retourneren in plaats van delen door nul. Druk Run om een rapport te printen en kijk hoe accuracy en F1 verschillen bij een ongebalanceerde set.
Schrijf classification_metrics(y_true, y_pred, positive_label) die {'accuracy', 'precision', 'recall', 'f1'} teruggeeft voor de gekozen positieve klasse, elk round afgerond op 4 decimalen. Tel TP/FP/FN tegen positive_label; precision = TP/(TP+FP), recall = TP/(TP+FN), f1 = het harmonisch gemiddelde, accuracy = correct/totaal. Geef 0.0 terug voor elke metriek waarvan de noemer nul is. Je getallen moeten overeenkomen met de precision_score/recall_score/f1_score van scikit-learn.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.