Lehrplan Lektion 89 von 250 · Deine ersten Machine Learning Modelle
Deine ersten Machine Learning Modelle

Logistische Regression & Wahrscheinlichkeiten

Der Entscheidungsbaum hat dir ein Label gegeben. Aber echte Systeme brauchen meistens mehr als "spam" oder "nicht spam" -> sie brauchen wie sicher das Modell ist, damit du einen Schwellenwert festlegen, bei Unsicherheit abgeben oder die sicheren Fälle automatisch weiterleiten kannst. Das Arbeitstier-Modell dafür ist logistic regression, und trotz des Namens ist es ein classifier, kein Regressor.

Hier ist die eine Idee dahinter. Ein lineares Modell berechnet eine gewichtete Summe der features, die jede Zahl von minus unendlich bis plus unendlich sein kann. Logistic regression presst diese Zahl durch die sigmoid Funktion in eine Wahrscheinlichkeit zwischen 0 und 1:

sigmoid(z) = 1 / (1 + e**(-z))
# z = -4 -> 0.018     z = 0 -> 0.5     z = 4 -> 0.982

Das Modell gibt also P(class = 1) aus. Alles über 0.5 sagt Klasse 1 voraus, alles darunter sagt Klasse 0 voraus, und ein Wert nahe 0.5 bedeutet, dass das Modell sagt "Ich bin mir nicht sicher." Diese einzelne Zahl ist die Basis für jeden nachfolgenden Confidence-Threshold und Routing-Trick in diesem Kurs.

Der Code ist das gleiche fit/predict Ritual wie beim Baum, mit einer neuen Methode, predict_proba, die die Wahrscheinlichkeiten anstelle der harten Labels zurückgibt:

from sklearn.linear_model import LogisticRegression

clf = LogisticRegression()
clf.fit(X, y)
clf.predict(X)              # hard labels: 0 or 1
clf.predict_proba(X)       # one [P(0), P(1)] row per sample, each row sums to 1

Du wirst es auf einem winzigen, intuitiven Datensatz trainieren: Stunden gelernt gegenüber ob ein Student bestanden hat. Wenige Stunden -> nicht bestanden (0), viele Stunden -> bestanden (1). Da das Muster monoton ist, sollte das angepasste Modell eine höhere Wahrscheinlichkeit zum Bestehen für jemanden geben, der mehr gelernt hat. Die zwei Spalten von predict_proba sind P(class 0) und P(class 1) in der Reihenfolge von clf.classes_ (hier [0, 1]), also ist der Spaltenindex 1 die Wahrscheinlichkeit zum Bestehen.

Du bist dran

Ein Datensatz mit einem Merkmal wird gegeben: hours wurde studiert und passed (0 oder 1). (1) Erstelle eine LogisticRegression() und fit es auf X, y. (2) Speichere die harten Labels für X in preds. (3) Nutze predict_proba um die Wahrscheinlichkeit von passing (Klasse 1) für 2 Stunden Lernen in p_low und für 7 Stunden Lernen in p_high zu speichern. Das Modell sollte sicher genug sein, dass p_high > p_low, und beide sind echte Wahrscheinlichkeiten zwischen 0 und 1.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.