Lehrplan Lektion 91 von 250 · Deine ersten Machine Learning Modelle
Deine ersten Machine Learning Modelle

Modelle bewerten: Genauigkeit und Fehler

Das

A trainierte Modell ist nutzlos, bis du sagen kannst, wie gut es ist. Der richtige Score hängt davon ab, was du vorhersagst.

Klassifizierung: Genauigkeit

Wenn das Label eine Kategorie ist (Spam oder nicht, Spezies A/B/C), ist der einfachste Score accuracy: der Anteil der Vorhersagen, die korrekt waren.

from sklearn.metrics import accuracy_score

acc = accuracy_score(y_true, y_pred)   # e.g. 0.875 means 7 of 8 right

Accuracy läuft von 0 bis 1. Aber "gut" ist relativ. Wenn 95 Prozent der E-Mails kein Spam sind, erzielt ein faules Modell, das immer "not spam" rät, bereits einen Wert von 0.95 und fängt keinen einzigen Spam. Vergleiche immer mit einer solchen naiven baseline, bevor du eine Zahl feierst.

Regression: Fehler

Wenn das Label eine kontinuierliche Zahl ist (ein Preis, eine Temperatur), macht accuracy keinen Sinn, da du fast nie den exakten Wert vorhersagen wirst. Stattdessen misst du, wie weit du daneben lagst. Eine häufige Wahl ist mean absolute error, die durchschnittliche Größe der Abweichung:

from sklearn.metrics import mean_absolute_error

mae = mean_absolute_error(y_true, y_pred)   # in the same units as y

MAE ist in den eigenen Einheiten des Labels, was es leicht lesbar macht: ein MAE von 12 bei Hauspreisen in Tausend bedeutet, dass du im Durchschnitt um etwa 12k daneben liegst. Niedriger ist besser, und 0 ist perfekt.

Du wirst beides berechnen: eine accuracy aus gegebenen predictions und einen MAE aus einer winzigen linearen regression auf einer perfekt geraden Linie (daher sollte sein error im Wesentlichen null sein).

Du bist dran

Teil 1: Die Arrays y_true und y_pred (jeweils 8 Labels, die sich an genau einer Stelle unterscheiden) sind gegeben. Setze acc = accuracy_score(y_true, y_pred). Teil 2: X und target beschreiben die Linie y = 2x. Passe ein LinearRegression namens reg auf sie an, prädiziere auf X in reg_pred und setze dann mae = mean_absolute_error(target, reg_pred).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.