第 3 模块:从神经元到 MLP
有益的失败:用一个神经元做 XOR
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 在这里故意失败,比任何解释都更能让你明白为什么网络需要不止一层。
XOR(“异或”)在两个输入中恰好有一个为 1 时为 1。四个点:(0,0) 是 0,(0,1) 是 1,(1,0) 是 1,(1,1) 是 0。你的任务:让你上一课的逻辑神经元把四个点全部答对。可以试任何学习率、任何步数和任何种子。
这里的神经元从随机权重开始。这很重要:如果从全零开始,在 XOR 上它的梯度因为对称性恰好是 0(四个点朝相反的方向拉得一样大),所以它根本不会动。那是和本课要讲的不同的另一种失败,所以我们把它排除掉。
在读提示之前,花几分钟真正去尝试。先挣扎一番正是重点所在:关于学习的研究发现,在被教会某个想法之前先尝试过问题的人,事后理解得更好。
本课中的词语和符号
- 神经元
- w . x + b,然后接一个激活函数
- 权重(w、W)、偏置(b)
- 神经元学习的数字;偏置会平移它的输出
- sigmoid
- 1 / (1 + exp(-z)):把任何数字压到 0 到 1 之间
- 学习率(lr)
- 每一步训练有多大
轮到你了
在 XOR 上用至少三种不同的设置运行 train_logistic(X, y, lr, steps, seed),并把每次结果的准确率放进 my_attempts。然后把 reason 设为正确解释的那个字母:
A:它需要更多步。B:单个神经元只能用一条直线分割平面,而没有一条直线能把 XOR 分开。C:学习率不对。D:四个点太少,学不到东西。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。