Temario Lección 89 de 250 · Tus primeros modelos de aprendizaje automático
Tus primeros modelos de aprendizaje automático

Regresión logística y probabilidades

El árbol de decisión te daba una etiqueta. Pero los sistemas reales suelen necesitar algo más que "spam" o "no spam" -> necesitan saber lo seguro que está el modelo, para poder fijar un umbral, abstenerse cuando hay dudas o encaminar automáticamente los casos seguros. El modelo de batalla para eso es la regresión logística, y a pesar del nombre es un clasificador, no un modelo de regresión.

Esta es la única idea que hay detrás. Un modelo lineal calcula una suma ponderada de los rasgos, que puede ser cualquier número entre menos infinito y más infinito. La regresión logística comprime ese número con la función sigmoide en una probabilidad entre 0 y 1:

sigmoid(z) = 1 / (1 + e**(-z))
# z = -4 -> 0.018     z = 0 -> 0.5     z = 4 -> 0.982

Así que el modelo da como salida P(class = 1). Cualquier valor por encima de 0.5 predice la clase 1, cualquiera por debajo predice la clase 0, y un valor cercano a 0.5 es el modelo diciendo "no estoy seguro". Ese único número es la base de todos los trucos posteriores de umbrales de confianza y de encaminamiento de este curso.

El código es el mismo ritual fit/predict que con el árbol, con un método nuevo, predict_proba, que devuelve las probabilidades en lugar de las etiquetas definitivas:

from sklearn.linear_model import LogisticRegression

clf = LogisticRegression()
clf.fit(X, y)
clf.predict(X)              # hard labels: 0 or 1
clf.predict_proba(X)       # one [P(0), P(1)] row per sample, each row sums to 1

Lo entrenarás con un conjunto de datos diminuto e intuitivo: horas de estudio frente a si un estudiante aprobó. Pocas horas -> suspende (0), muchas horas -> aprueba (1). Como el patrón es monótono, el modelo entrenado debería dar una probabilidad de aprobar más alta a quien estudió más. Las dos columnas de predict_proba son P(class 0) y P(class 1) en el orden de clf.classes_ (aquí [0, 1]), así que la columna de índice 1 es la probabilidad de aprobar.

Tu turno

Tienes un conjunto de datos con 1 rasgo: las horas de estudio (hours) y si aprobó (passed, 0 o 1). (1) Crea un LogisticRegression() y entrénalo con fit sobre X, y. (2) Guarda las etiquetas definitivas de X en preds. (3) Usa predict_proba para guardar en p_low la probabilidad de aprobar (clase 1) estudiando 2 horas, y en p_high la de estudiar 7 horas. El modelo debería estar lo bastante seguro como para que p_high > p_low, y las dos son probabilidades de verdad entre 0 y 1.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.