课程大纲 第 41 课,共 246 课 · 第 3 模块:从神经元到 MLP
第 3 模块:从神经元到 MLP

是或否的回答(逻辑回归)

为什么重要 大多数任务要的是一个类别,而不是一个数字:是不是垃圾邮件,是猫还是狗。一个神经元加上一个压缩函数,就能用一个概率回答是或否。

看见它

sigmoid 把任何数字压到 0 到 1 的范围内:sigmoid(z) = 1 / (1 + exp(-z))。sigmoid(0) = 0.5,sigmoid(3) 大约是 0.95,sigmoid(-3) 大约是 0.05。把输出读作“答案是‘是’的概率”。

损失是第 2 模块中两个类别的交叉熵:-mean(y log p + (1 - y) log(1 - p))。它的梯度出奇地简单:grad_w = X.T @ (p - y) / n。又是预测减真实值。

逻辑回归:一个带 sigmoid 的神经元,用交叉熵训练。它在两个类别之间画出一条直线边界。

回顾 打分,压成一个概率,在 (p - y) 上训练。

本课中的词语和符号
神经元
w . x + b,然后接一个激活函数
sigmoid
1 / (1 + exp(-z)):把任何数字压到 0 到 1 之间
学习率(lr)
每一步训练有多大
轮到你了

编写 sigmoid(z) 和 train_logistic(X, y, lr, steps),从零开始,返回 (w, b)。然后是 accuracy(X, y, w, b):p > 0.5 和标签一致的点所占的比例。在来自同样两组的隐藏点上达到至少 90%。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。