Kurrikulum Leson 92 van 250 · Jou eerste Masjienleer-modelle
Jou eerste Masjienleer-modelle

Buiten Akkuraatheid: Presisie, Recall & F1

Jy het die lokval in die vorige les gesien: as 95% van e-posse nie spam is nie, kry 'n model wat altyd "not spam" raai 'n 0.95 accuracy terwyl dit nul spam vang. By enige imbalanced probleem is accuracy misleidend. Die oplossing is om te kyk na welke soort foute die model maak, met die confusion matrix.

Vir 'n ja/nee-klassifiseerder (etiket 1 = die positiewe klas, bv. "spam"), val elke voorspelling in een van vier bokse:

TP  true positive   predicted 1, actually 1   (caught real spam)
FP  false positive  predicted 1, actually 0   (flagged a good email)
FN  false negative  predicted 0, actually 1   (missed real spam)
TN  true negative   predicted 0, actually 0   (left a good email alone)

Drie getalle val uit daardie tellings, en dit is wat regte spanne werklik rapporteer:

  • Precision = TP / (TP + FP). Van alles wat jy gemerk het, hoeveel was reg? Lae presisie = valse alarm.
  • Recall = TP / (TP + FN). Van alles wat jy moes opvang, hoeveel het jy opgevang? Lae recall = die regte gevalle wat jy misloop.
  • F1 = 2 * P * R / (P + R), die harmoniese gemiddelde. Een getal wat net hoog is wanneer BOEie presisie en herroep hoog is, so die lui alle-negatiewe model (herroep 0) kry F1 = 0 en word blootgestel.

Presisie en herroep-afweging: vlag alles en herroep is 1.0 maar presisie daal; vlag niks en presisie is ongedefinieerbaar maar jy vang niks nie. F1 hou jou eerlik. Wanneer 'n noemer nul is (jy het geen positiewes voorspel nie, of daar is geen nie), rapporteer daardie metriek as 0.0 eerder as om deur nul te deel.

Bou twee funksies. confusion(y_true, y_pred) gee die tuple (tp, fp, fn, tn) oor twee gelyk-lengte lysse van 0/1 labels terug. prf(y_true, y_pred) gee {"precision", "recall", "f1"} wat uit daardie tellings bereken word (0.0 by enige nul denominator). Die verborge toetse kontroleer jou nommers teen scikit-learn, so die definisies moet presies wees. Druk Run om 'n onbalanseerde klassifiseerder te tel.

Jou beurt

Skryf confusion(y_true, y_pred) wat (tp, fp, fn, tn) teruggee vir twee gelyk-lengte lysse van 0/1 labels (1 is die positiewe klas), en prf(y_true, y_pred) wat {"precision", "recall", "f1"} teruggee waar precision = TP/(TP+FP), recall = TP/(TP+FN), en f1 = 2*P*R/(P+R). Gee 0.0 terug vir enige metriek waarvan die noemer nul is (deel nooit deur nul nie). Jou resultate word teen scikit-learn gekontroleer.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.