Kurrikulum Leson 168 van 250 · LLM-evaluasies en toetsing
LLM-evaluasies en toetsing

Akkuraatheid vs Presisie/Terugroep/F1 vir Klassifikasie

'n groot deel van LLM-werk is regtig classification: roeie hierdie kaart, merk hierdie sentiment, vlag hierdie boodskap as spam. Vir daardie is akkuraatheid alleen 'n lokval. Bou 'n spamfilter op 'n posbus wat 95% ham is en 'n model wat everything ham met 95% akkuraatheid merk terwyl dit nul spam vang. Die getal lyk goed; die produk is nutteloos. Om dit te sien, het jy presisie, recall en F1 nodig wat uitgesonderlik is vir die klas waarvoor jy werklik omgee.

Kies 'n positive klas (sê spam) en tel vier bakke:

  • TP ware positiewe: voorspelde spam, was spam.
  • FP vals positiewe resultate: voorspelde spam, was ham ( 'n goeie e-pos gestuur na junk).
  • FN vals negatiewe: voorspelde ham, was spam (spam wat deurgeglip het).
precision = TP / (TP + FP)   # of what I flagged, how much was right
recall    = TP / (TP + FN)   # of the real positives, how many I caught
f1        = 2 * P * R / (P + R)
accuracy  = correct / total  # all classes, all predictions

Hulle trek in verskillende rigtings. Vlag aggressief en recall styg terwyl presisie daal; vlag konserwatief en die omgekeerde gebeur. F1 is die enkele getal wat weier om om beide te laat ineenstort. Op 'n onbalanseerde stel diverge akkuraatheid en F1 hard, wat die hele punt is van om hulle apart te bereken.

Jy gaan dit met die hand implementeer omdat die formules werdens is om uit jou kop te ken vir onderhouings. Jy moet egter nooit ship handgemaakte metrieke gebruik as 'n getoetsde biblioteek bestaan nie, so die toetse kontroleer ook jou syfers teen scikit-learn se precision_score, recall_score, en f1_score. As jy ooreenstem met sklearn, het jy dit reg geïmplementeer.

from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")

Wat om te bou. classification_metrics(y_true, y_pred, positive_label) gee 'n dict terug {"accuracy", "precision", "recall", "f1"}, met elke round tot by 4 plekke. Beskerm die nul-noemer-gevalle (geen voorspelde positiewes, geen werklike positiewes) deur 0.0 vir daardie metriek te gee in plaas van om deur nul te deel. Druk Run om 'n verslag te druk en kyk hoe akkuraatheid en F1 oor 'n onbalanseerde stel verskil.

Jou beurt

Skryf classification_metrics(y_true, y_pred, positive_label) wat {'accuracy', 'precision', 'recall', 'f1'} teruggee vir die gekose positiewe klas, elk round tot 4 plekke afgerond. Tel TP/FP/FN teen positive_label; precision = TP/(TP+FP), recall = TP/(TP+FN), f1 = die harmoniese gemiddelde, accuracy = korrek/totaal. Gee 0.0 terug vir enige metriek waarvan die noemer nul is. Jou syfers moet ooreenstem met scikit-learn se precision_score/recall_score/f1_score.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.