课程大纲 第 89 课,共 250 课 · 你的第一批机器学习模型
你的第一批机器学习模型

逻辑回归与概率

决策树给了你一个标签。但真实的系统通常需要的不止是"垃圾邮件"或"非垃圾邮件":它们需要知道模型有多确定,这样你才能设置阈值,在不确定时放弃,或者把有把握的情况自动分流。干这件事的主力模型是逻辑回归,尽管名字叫回归,它其实是一个分类器。

它背后只有一个想法。线性模型计算特征的加权和,这个和可以是从负无穷到正无穷的任何数。逻辑回归把这个数通过 sigmoid 函数压缩成 0 到 1 之间的概率:

sigmoid(z) = 1 / (1 + e**(-z))
# z = -4 -> 0.018     z = 0 -> 0.5     z = 4 -> 0.982

所以模型输出的是 P(class = 1)。高于 0.5 的预测为类别 1,低于的预测为类别 0,而接近 0.5 的值就是模型在说"我不确定"。本课程中后续所有置信度阈值和分流技巧,都建立在这一个数上。

代码和决策树是同一个 fit/predict 仪式,只多了一个新方法 predict_proba,它返回概率而不是硬标签:

from sklearn.linear_model import LogisticRegression

clf = LogisticRegression()
clf.fit(X, y)
clf.predict(X)              # hard labels: 0 or 1
clf.predict_proba(X)       # one [P(0), P(1)] row per sample, each row sums to 1

你要在一个很小、很直观的数据集上训练它:学习的小时数与学生是否通过。学得少则不及格(0),学得多则通过(1)。因为这个规律是单调的,训练好的模型应该给学得更多的人更高的通过概率。predict_proba 的两列按 clf.classes_ 的顺序(这里是 [0, 1])分别是 P(class 0) 和 P(class 1),所以列索引 1 就是通过的概率。

轮到你了

给定一个单特征数据集:学习的 hours 和 passed(0 或 1)。(1) 创建一个 LogisticRegression(),并在 X, y 上 fit 它。(2) 把 X 的硬标签存进 preds。(3) 用 predict_proba 把学习 2 小时的通过概率(类别 1)存进 p_low,学习 7 小时的存进 p_high。模型应该足够有把握,使得 p_high > p_low,并且两者都是 0 到 1 之间真正的概率。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。