课程大纲 第 42 课,共 246 课 · 第 3 模块:从神经元到 MLP
第 3 模块:从神经元到 MLP

有益的失败:用一个神经元做 XOR

为什么重要 在这里故意失败,比任何解释都更能让你明白为什么网络需要不止一层。

XOR(“异或”)在两个输入中恰好有一个为 1 时为 1。四个点:(0,0) 是 0,(0,1) 是 1,(1,0) 是 1,(1,1) 是 0。你的任务:让你上一课的逻辑神经元把四个点全部答对。可以试任何学习率、任何步数和任何种子。

这里的神经元从随机权重开始。这很重要:如果从全零开始,在 XOR 上它的梯度因为对称性恰好是 0(四个点朝相反的方向拉得一样大),所以它根本不会动。那是和本课要讲的不同的另一种失败,所以我们把它排除掉。

在读提示之前,花几分钟真正去尝试。先挣扎一番正是重点所在:关于学习的研究发现,在被教会某个想法之前先尝试过问题的人,事后理解得更好。

本课中的词语和符号
神经元
w . x + b,然后接一个激活函数
权重(w、W)、偏置(b)
神经元学习的数字;偏置会平移它的输出
sigmoid
1 / (1 + exp(-z)):把任何数字压到 0 到 1 之间
学习率(lr)
每一步训练有多大
轮到你了

在 XOR 上用至少三种不同的设置运行 train_logistic(X, y, lr, steps, seed),并把每次结果的准确率放进 my_attempts。然后把 reason 设为正确解释的那个字母:

A:它需要更多步。B:单个神经元只能用一条直线分割平面,而没有一条直线能把 XOR 分开。C:学习率不对。D:四个点太少,学不到东西。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。