Programme Leçon 89 sur 250 · Tes premiers modèles de machine learning
Tes premiers modèles de machine learning

Régression logistique et probabilités

L'arbre de décision t'a donné une étiquette. Mais les vrais systèmes ont en général besoin de plus que « spam » ou « pas spam » -> ils ont besoin de savoir à quel point le modèle est sûr, pour fixer un seuil, s'abstenir en cas de doute, ou router automatiquement les cas confiants. Le modèle de base pour ça est la régression logistique, et malgré son nom, c'est un classifieur, pas un régresseur.

Voici l'idée unique derrière. Un modèle linéaire calcule une somme pondérée des caractéristiques, qui peut être n'importe quel nombre de moins l'infini à plus l'infini. La régression logistique écrase ce nombre à travers la fonction sigmoïde pour en faire une probabilité entre 0 et 1 :

sigmoid(z) = 1 / (1 + e**(-z))
# z = -4 -> 0.018     z = 0 -> 0.5     z = 4 -> 0.982

Le modèle sort donc P(class = 1). Tout ce qui dépasse 0.5 prédit la classe 1, tout ce qui est en dessous prédit la classe 0, et une valeur proche de 0.5, c'est le modèle qui dit « je ne suis pas sûr ». Ce seul nombre est la base de tous les seuils de confiance et astuces de routage de la suite du cours.

Le code suit le même rituel fit/predict que l'arbre, avec une nouvelle méthode, predict_proba, qui renvoie les probabilités au lieu des étiquettes tranchées :

from sklearn.linear_model import LogisticRegression

clf = LogisticRegression()
clf.fit(X, y)
clf.predict(X)              # hard labels: 0 or 1
clf.predict_proba(X)       # one [P(0), P(1)] row per sample, each row sums to 1

Tu vas l'entraîner sur un tout petit jeu intuitif : heures de révision et réussite d'un élève. Peu d'heures -> échec (0), beaucoup d'heures -> réussite (1). Comme le motif est monotone, le modèle ajusté devrait donner une probabilité de réussite plus haute à quelqu'un qui a plus révisé. Les deux colonnes de predict_proba sont P(class 0) et P(class 1) dans l'ordre de clf.classes_ (ici [0, 1]), donc la colonne d'indice 1 est la probabilité de réussir.

À ton tour

Un jeu à 1 caractéristique est fourni : hours de révision et passed (0 ou 1). (1) Crée une LogisticRegression() et ajuste-la avec fit sur X, y. (2) Range les étiquettes tranchées de X dans preds. (3) Utilise predict_proba pour ranger la probabilité de réussir (classe 1) avec 2 heures de révision dans p_low, et avec 7 heures dans p_high. Le modèle devrait être assez confiant pour que p_high > p_low, et les deux sont de vraies probabilités entre 0 et 1.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.