Logistische Regression & Wahrscheinlichkeiten
Der Entscheidungsbaum hat dir ein Label gegeben. Aber echte Systeme brauchen meistens mehr als "spam" oder "nicht spam" -> sie brauchen wie sicher das Modell ist, damit du einen Schwellenwert festlegen, bei Unsicherheit abgeben oder die sicheren Fälle automatisch weiterleiten kannst. Das Arbeitstier-Modell dafür ist logistic regression, und trotz des Namens ist es ein classifier, kein Regressor.
Hier ist die eine Idee dahinter. Ein lineares Modell berechnet eine gewichtete Summe der features, die jede Zahl von minus unendlich bis plus unendlich sein kann. Logistic regression presst diese Zahl durch die sigmoid Funktion in eine Wahrscheinlichkeit zwischen 0 und 1:
sigmoid(z) = 1 / (1 + e**(-z))
# z = -4 -> 0.018 z = 0 -> 0.5 z = 4 -> 0.982Das Modell gibt also P(class = 1) aus. Alles über 0.5 sagt Klasse 1 voraus, alles darunter sagt Klasse 0 voraus, und ein Wert nahe 0.5 bedeutet, dass das Modell sagt "Ich bin mir nicht sicher." Diese einzelne Zahl ist die Basis für jeden nachfolgenden Confidence-Threshold und Routing-Trick in diesem Kurs.
Der Code ist das gleiche fit/predict Ritual wie beim Baum, mit einer neuen Methode, predict_proba, die die Wahrscheinlichkeiten anstelle der harten Labels zurückgibt:
from sklearn.linear_model import LogisticRegression
clf = LogisticRegression()
clf.fit(X, y)
clf.predict(X) # hard labels: 0 or 1
clf.predict_proba(X) # one [P(0), P(1)] row per sample, each row sums to 1Du wirst es auf einem winzigen, intuitiven Datensatz trainieren: Stunden gelernt gegenüber ob ein Student bestanden hat. Wenige Stunden -> nicht bestanden (0), viele Stunden -> bestanden (1). Da das Muster monoton ist, sollte das angepasste Modell eine höhere Wahrscheinlichkeit zum Bestehen für jemanden geben, der mehr gelernt hat. Die zwei Spalten von predict_proba sind P(class 0) und P(class 1) in der Reihenfolge von clf.classes_ (hier [0, 1]), also ist der Spaltenindex 1 die Wahrscheinlichkeit zum Bestehen.
Ein Datensatz mit einem Merkmal wird gegeben: hours wurde studiert und passed (0 oder 1). (1) Erstelle eine LogisticRegression() und fit es auf X, y. (2) Speichere die harten Labels für X in preds. (3) Nutze predict_proba um die Wahrscheinlichkeit von passing (Klasse 1) für 2 Stunden Lernen in p_low und für 7 Stunden Lernen in p_high zu speichern. Das Modell sollte sicher genug sein, dass p_high > p_low, und beide sind echte Wahrscheinlichkeiten zwischen 0 und 1.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.