Buiten Akkuraatheid: Presisie, Recall & F1
Jy het die lokval in die vorige les gesien: as 95% van e-posse nie spam is nie, kry 'n model wat altyd "not spam" raai 'n 0.95 accuracy terwyl dit nul spam vang. By enige imbalanced probleem is accuracy misleidend. Die oplossing is om te kyk na welke soort foute die model maak, met die confusion matrix.
Vir 'n ja/nee-klassifiseerder (etiket 1 = die positiewe klas, bv. "spam"), val elke voorspelling in een van vier bokse:
TP true positive predicted 1, actually 1 (caught real spam)
FP false positive predicted 1, actually 0 (flagged a good email)
FN false negative predicted 0, actually 1 (missed real spam)
TN true negative predicted 0, actually 0 (left a good email alone)Drie getalle val uit daardie tellings, en dit is wat regte spanne werklik rapporteer:
- Precision =
TP / (TP + FP). Van alles wat jy gemerk het, hoeveel was reg? Lae presisie = valse alarm. - Recall =
TP / (TP + FN). Van alles wat jy moes opvang, hoeveel het jy opgevang? Lae recall = die regte gevalle wat jy misloop. - F1 =
2 * P * R / (P + R), die harmoniese gemiddelde. Een getal wat net hoog is wanneer BOEie presisie en herroep hoog is, so die lui alle-negatiewe model (herroep 0) kry F1 = 0 en word blootgestel.
Presisie en herroep-afweging: vlag alles en herroep is 1.0 maar presisie daal; vlag niks en presisie is ongedefinieerbaar maar jy vang niks nie. F1 hou jou eerlik. Wanneer 'n noemer nul is (jy het geen positiewes voorspel nie, of daar is geen nie), rapporteer daardie metriek as 0.0 eerder as om deur nul te deel.
Bou twee funksies. confusion(y_true, y_pred) gee die tuple (tp, fp, fn, tn) oor twee gelyk-lengte lysse van 0/1 labels terug. prf(y_true, y_pred) gee {"precision", "recall", "f1"} wat uit daardie tellings bereken word (0.0 by enige nul denominator). Die verborge toetse kontroleer jou nommers teen scikit-learn, so die definisies moet presies wees. Druk Run om 'n onbalanseerde klassifiseerder te tel.
Skryf confusion(y_true, y_pred) wat (tp, fp, fn, tn) teruggee vir twee gelyk-lengte lysse van 0/1 labels (1 is die positiewe klas), en prf(y_true, y_pred) wat {"precision", "recall", "f1"} teruggee waar precision = TP/(TP+FP), recall = TP/(TP+FN), en f1 = 2*P*R/(P+R). Gee 0.0 terug vir enige metriek waarvan die noemer nul is (deel nooit deur nul nie). Jou resultate word teen scikit-learn gekontroleer.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.