Программа курса Урок 89 из 250 · Ваши первые модели машинного обучения
Ваши первые модели машинного обучения

Логистическая регрессия и вероятности

Дерево решений дало вам метку. Но реальным системам обычно нужно больше, чем "спам" или "не спам" -> им нужно насколько уверена модель, чтобы вы могли установить порог, воздержаться при неуверенности или автоматически направлять уверенные случаи. Основная модель для этого это logistic regression, и несмотря на название это classifier, а не регрессор.

Вот одна идея, которая за этим стоит. Линейная модель вычисляет взвешенную сумму признаков, которая может быть любым числом от минус бесконечности до плюс бесконечности. Логистическая регрессия сжимает это число через функцию sigmoid в вероятность между 0 и 1:

sigmoid(z) = 1 / (1 + e**(-z))
# z = -4 -> 0.018     z = 0 -> 0.5     z = 4 -> 0.982

Значит, модель выдает P(class = 1). Все, что выше 0.5, предсказывает класс 1, все, что ниже, предсказывает класс 0, а значение около 0.5 означает, что модель говорит "я не уверена". Это единственное число лежит в основе каждого последующего трюка с порогом уверенности и маршрутизацией в этом курсе.

Код представляет собой тот же ритуал fit/predict, что и дерево, с одним новым методом, predict_proba, который возвращает вероятности вместо жестких меток:

from sklearn.linear_model import LogisticRegression

clf = LogisticRegression()
clf.fit(X, y)
clf.predict(X)              # hard labels: 0 or 1
clf.predict_proba(X)       # one [P(0), P(1)] row per sample, each row sums to 1

Вы обучите модель на крошечном и понятном наборе данных: количество часов учебы против того, сдал ли студент. Мало часов -> провал (0), много часов -> успех (1). Поскольку паттерн монотонный, подогнанная модель должна давать более высокую вероятность успеха тому, кто учился больше. Два столбца predict_proba это P(class 0) и P(class 1) в порядке clf.classes_ (здесь [0, 1]), так что индекс столбца 1 это вероятность успеха.

Твоя очередь

Дан набор данных с 1 признаком: hours изучал и passed (0 или 1). (1) Создайте LogisticRegression() и fit его на X, y. (2) Сохраните жесткие метки для X в preds. (3) Используйте predict_proba чтобы сохранить вероятность passing (класс 1) для изучения 2 часа в p_low, и для 7 часов в p_high. Модель должна быть достаточно уверена, что p_high > p_low, и оба являются реальными вероятностями между 0 и 1.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.