Über Genauigkeit hinaus: Präzision, Recall & F1
Du hast die Falle in der letzten Lektion gesehen: wenn 95% der E-Mails kein Spam sind, erzielt ein Modell, das immer "nicht spam" rät, eine Genauigkeit von 0.95 und erwischt keinen einzigen Spam. Bei jedem imbalanced Problem lügt die Genauigkeit. Die Lösung ist zu schauen, welche Art von Fehlern das Modell macht, mit der confusion matrix.
Für einen Ja/Nein-Klassifikator (Label 1 = die positive Klasse, z. B. "spam") fällt jede Vorhersage in eine von vier Boxen:
TP true positive predicted 1, actually 1 (caught real spam)
FP false positive predicted 1, actually 0 (flagged a good email)
FN false negative predicted 0, actually 1 (missed real spam)
TN true negative predicted 0, actually 0 (left a good email alone)Drei Zahlen ergeben sich aus diesen Zählungen, und das sind die Werte, die echte Teams tatsächlich melden:
- Precision =
TP / (TP + FP). Von allem, was du markiert hast, wie viel war richtig? Niedrige Präzision = Wolfsgeheul. - Recall =
TP / (TP + FN). Von allem, was du hätten finden sollen, wie viel hast du gefunden? Niedriger Recall = das Übersehen der echten Fälle. - F1 =
2 * P * R / (P + R), das harmonische Mittel. Eine Zahl, die nur hoch ist, wenn BEIDE Präzision und Recall hoch sind, also erzielt das faule all-negative Modell (Recall 0) einen F1 = 0 und wird entlarvt.
Präzision und Recall Trade-off: Alles markieren und Recall erreicht 1.0 aber Präzision sinkt; nichts markieren und Präzision ist undefiniert aber du fängst nichts. F1 hält dich ehrlich. Wenn ein Nenner Null ist (du hast keine Positiven vorhergesagt oder es gibt keine), melde diese Metrik als 0.0 anstatt durch Null zu teilen.
Erstelle zwei Funktionen. confusion(y_true, y_pred) gibt das Tupel (tp, fp, fn, tn) über zwei Listen gleicher Länge mit 0/1 Labels zurück. prf(y_true, y_pred) gibt {"precision", "recall", "f1"} zurück, das aus diesen Zählungen berechnet wird (0.0 bei jedem Nullnenner). Die versteckten Tests gleichen deine Zahlen mit scikit-learn ab, also müssen die Definitionen exakt sein. Drücke Run, um einen unausgeglichenen Klassifikator zu bewerten.
Schreibe confusion(y_true, y_pred), das (tp, fp, fn, tn) für zwei Listen gleicher Länge mit 0/1 Labels zurückgibt (1 ist die positive Klasse), und prf(y_true, y_pred), das {"precision", "recall", "f1"} zurückgibt, wobei precision = TP/(TP+FP), recall = TP/(TP+FN) und f1 = 2*P*R/(P+R) ist. Gib 0.0 für jede Metrik zurück, deren Nenner Null ist (teile niemals durch Null). Deine Ergebnisse werden gegen scikit-learn überprüft.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.