Genauigkeit vs. Präzision/Recall/F1 für Klassifizierung
Ein großer Teil der LLM Arbeit ist wirklich classification: leite dieses Ticket weiter, labele dieses Sentiment, markiere diese Nachricht als Spam. Für diese ist Genauigkeit allein eine Falle. Baue einen Spamfilter auf ein Postfach, das zu 95% Ham ist, und ein Modell, das everything Ham mit einer Genauigkeit von 95% labelt, während es null Spam erwischt. Die Zahl sieht großartig aus; das Produkt ist nutzlos. Um das zu sehen, brauchst du Präzision, Recall und F1 aufgeschlüsselt für die Klasse, die dich tatsächlich interessiert.
Wähle eine positive Klasse (zum Beispiel spam) und zähle vier Buckets:
- TP True Positives: vorhergesagter Spam, war Spam.
- FP false positives: vorhergesagter spam, war ham (eine gute email im spam).
- FN false negatives: vorhergesagt ham, war spam (spam, das durchgerutscht ist).
precision = TP / (TP + FP) # of what I flagged, how much was right
recall = TP / (TP + FN) # of the real positives, how many I caught
f1 = 2 * P * R / (P + R)
accuracy = correct / total # all classes, all predictionsDiese ziehen in verschiedene Richtungen. Flag aggressiv und recall steigt, während precision fällt; flag konservativ und das Gegenteil passiert. F1 ist die einzige Zahl, die nicht zulässt, dass eines von beiden zusammenbricht. Bei einem unausgeglichenen Satz divergieren accuracy und F1 stark, was genau der Grund ist, warum man sie separat berechnet.
Du wirst diese von Hand implementieren, weil die Formeln für Interviews auswendig sitzen sollten. Aber du solltest niemals ship handgefertigte Metriken verwenden, wenn eine getestete Bibliothek existiert, also prüfen die Tests auch deine Zahlen gegen scikit-learn's precision_score, recall_score, und f1_score. Wenn du mit sklearn übereinstimmst, hast du es richtig implementiert.
from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")Was zu bauen ist. classification_metrics(y_true, y_pred, positive_label) ein dict zurückgeben {"accuracy", "precision", "recall", "f1"}, jedes rounded auf 4 Stellen gerundet. Schütze die Fälle mit Null im Nenner (keine vorhergesagten Positiven, keine tatsächlichen Positiven) indem du 0.0 für diese Metrik zurückgibst anstatt durch Null zu teilen. Drücke Run um einen Bericht zu drucken und beobachte wie accuracy und F1 bei einem ungleichgewichtigen Satz abweichen.
Schreibe classification_metrics(y_true, y_pred, positive_label) und gib {'accuracy', 'precision', 'recall', 'f1'} für die gewählte positive Klasse zurück, wobei jeder round auf 4 Stellen gerundet wird. Zähle TP/FP/FN gegen positive_label; precision = TP/(TP+FP), recall = TP/(TP+FN), f1 = der harmonische Mittelwert, accuracy = korrekt/gesamt. Gib 0.0 für jede Metrik zurück, deren Nenner Null ist. Deine Zahlen müssen mit scikit-learns precision_score/recall_score/f1_score übereinstimmen.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.