Akkuraatheid vs Presisie/Terugroep/F1 vir Klassifikasie
'n groot deel van LLM-werk is regtig classification: roeie hierdie kaart, merk hierdie sentiment, vlag hierdie boodskap as spam. Vir daardie is akkuraatheid alleen 'n lokval. Bou 'n spamfilter op 'n posbus wat 95% ham is en 'n model wat everything ham met 95% akkuraatheid merk terwyl dit nul spam vang. Die getal lyk goed; die produk is nutteloos. Om dit te sien, het jy presisie, recall en F1 nodig wat uitgesonderlik is vir die klas waarvoor jy werklik omgee.
Kies 'n positive klas (sê spam) en tel vier bakke:
- TP ware positiewe: voorspelde spam, was spam.
- FP vals positiewe resultate: voorspelde spam, was ham ( 'n goeie e-pos gestuur na junk).
- FN vals negatiewe: voorspelde ham, was spam (spam wat deurgeglip het).
precision = TP / (TP + FP) # of what I flagged, how much was right
recall = TP / (TP + FN) # of the real positives, how many I caught
f1 = 2 * P * R / (P + R)
accuracy = correct / total # all classes, all predictionsHulle trek in verskillende rigtings. Vlag aggressief en recall styg terwyl presisie daal; vlag konserwatief en die omgekeerde gebeur. F1 is die enkele getal wat weier om om beide te laat ineenstort. Op 'n onbalanseerde stel diverge akkuraatheid en F1 hard, wat die hele punt is van om hulle apart te bereken.
Jy gaan dit met die hand implementeer omdat die formules werdens is om uit jou kop te ken vir onderhouings. Jy moet egter nooit ship handgemaakte metrieke gebruik as 'n getoetsde biblioteek bestaan nie, so die toetse kontroleer ook jou syfers teen scikit-learn se precision_score, recall_score, en f1_score. As jy ooreenstem met sklearn, het jy dit reg geïmplementeer.
from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")Wat om te bou. classification_metrics(y_true, y_pred, positive_label) gee 'n dict terug {"accuracy", "precision", "recall", "f1"}, met elke round tot by 4 plekke. Beskerm die nul-noemer-gevalle (geen voorspelde positiewes, geen werklike positiewes) deur 0.0 vir daardie metriek te gee in plaas van om deur nul te deel. Druk Run om 'n verslag te druk en kyk hoe akkuraatheid en F1 oor 'n onbalanseerde stel verskil.
Skryf classification_metrics(y_true, y_pred, positive_label) wat {'accuracy', 'precision', 'recall', 'f1'} teruggee vir die gekose positiewe klas, elk round tot 4 plekke afgerond. Tel TP/FP/FN teen positive_label; precision = TP/(TP+FP), recall = TP/(TP+FN), f1 = die harmoniese gemiddelde, accuracy = korrek/totaal. Gee 0.0 terug vir enige metriek waarvan die noemer nul is. Jou syfers moet ooreenstem met scikit-learn se precision_score/recall_score/f1_score.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.