第 3 模块:从神经元到 MLP
激活函数:层与层之间的弯折
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 如果层与层之间没有弯折,十层并不比一层更聪明。弯折的选择还决定了梯度能不能流动。
你到处都会遇到的三种激活函数:
- ReLU:max(0, z)。计算便宜,而且对正输入它的斜率恰好是 1,所以梯度穿过时不会衰减。对负输入斜率为 0。
- tanh:压到 -1 到 1 之间,以 0 为中心。在 0 处斜率为 1,但对大的输入几乎为 0:它会饱和。
- GELU:用在 transformer 中的平滑版 ReLU,大约是 z 乘以 sigmoid(1.702 z)。
为什么斜率很重要
反向传播会乘上每个激活函数的斜率。接近 0 的斜率(饱和的 tanh,或者负输入上的 ReLU)会挡住梯度。你会在第 6 模块看到这会造成真实的训练失败。
饱和:待在曲线平坦的部分,那里的斜率,以及因此穿过它的梯度,几乎为零。
回顾 激活函数负责弯折;它的斜率决定有多少梯度往回流。
本课中的词语和符号
- sigmoid
- 1 / (1 + exp(-z)):把任何数字压到 0 到 1 之间
- ReLU
- max(0, z):保留正数,把负数变成零
- 反向传播
- 倒着运行链式法则,得到每一个权重的梯度
轮到你了
编写每个激活函数和它的斜率:relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope,都作用在数组上。使用 GELU 的近似 z * sigmoid(1.702 z)。它的斜率需要两条规则一起用:乘积法则(u × v 的斜率是 u' × v + u × v'),以及 sigmoid 内部的链式法则(sigmoid(1.702 z) 的斜率是 1.702 × s(1 - s),其中 s = sigmoid(1.702 z))。对于 ReLU 恰好在 0 处的斜率,用 0。隐藏测试会用微调检查每一个斜率。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。