Programma Lezione 89 di 250 · I tuoi primi modelli di machine learning
I tuoi primi modelli di machine learning

Regressione logistica e probabilità

L'albero decisionale ti ha dato un'etichetta. Ma i sistemi reali di solito hanno bisogno di più di "spam" o "non spam" -> hanno bisogno di sapere quanto è sicuro il modello, così puoi fissare una soglia, astenerti quando non è sicuro, o smistare automaticamente i casi certi. Il modello da lavoro per questo è la regressione logistica, e nonostante il nome è un classificatore, non un regressore.

Ecco l'unica idea che c'è dietro. Un modello lineare calcola una somma pesata delle feature, che può essere qualsiasi numero da meno infinito a più infinito. La regressione logistica schiaccia quel numero con la funzione sigmoide in una probabilità tra 0 e 1:

sigmoid(z) = 1 / (1 + e**(-z))
# z = -4 -> 0.018     z = 0 -> 0.5     z = 4 -> 0.982

Quindi il modello restituisce P(class = 1). Qualsiasi valore sopra 0.5 prevede la classe 1, qualsiasi valore sotto prevede la classe 0, e un valore vicino a 0.5 è il modello che dice "non sono sicuro". Quel singolo numero è la base di ogni trucco di soglia di confidenza e di smistamento più avanti in questo corso.

Il codice è lo stesso rituale fit/predict dell'albero, con un nuovo metodo, predict_proba, che restituisce le probabilità invece delle etichette secche:

from sklearn.linear_model import LogisticRegression

clf = LogisticRegression()
clf.fit(X, y)
clf.predict(X)              # hard labels: 0 or 1
clf.predict_proba(X)       # one [P(0), P(1)] row per sample, each row sums to 1

Lo addestrerai su un dataset minuscolo e intuitivo: ore di studio contro se uno studente è stato promosso. Poche ore -> bocciato (0), tante ore -> promosso (1). Dato che l'andamento è monotono, il modello addestrato dovrebbe dare una probabilità di promozione più alta a chi ha studiato di più. Le due colonne di predict_proba sono P(class 0) e P(class 1) nell'ordine di clf.classes_ (qui [0, 1]), quindi la colonna di indice 1 è la probabilità di essere promossi.

Tocca a te

Ti viene dato un dataset con una sola feature: le ore di studio hours e passed (0 o 1). (1) Crea un LogisticRegression() e addestralo con fit su X, y. (2) Salva le etichette secche per X in preds. (3) Usa predict_proba per salvare la probabilità di essere promossi (classe 1) studiando 2 ore in p_low, e 7 ore in p_high. Il modello dovrebbe essere abbastanza sicuro che p_high > p_low, ed entrambe sono vere probabilità tra 0 e 1.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.