课程大纲 第 44 课,共 246 课 · 第 3 模块:从神经元到 MLP
第 3 模块:从神经元到 MLP

激活函数:层与层之间的弯折

为什么重要 如果层与层之间没有弯折,十层并不比一层更聪明。弯折的选择还决定了梯度能不能流动。

你到处都会遇到的三种激活函数:

  • ReLU:max(0, z)。计算便宜,而且对正输入它的斜率恰好是 1,所以梯度穿过时不会衰减。对负输入斜率为 0。
  • tanh:压到 -1 到 1 之间,以 0 为中心。在 0 处斜率为 1,但对大的输入几乎为 0:它会饱和。
  • GELU:用在 transformer 中的平滑版 ReLU,大约是 z 乘以 sigmoid(1.702 z)。

为什么斜率很重要

反向传播会乘上每个激活函数的斜率。接近 0 的斜率(饱和的 tanh,或者负输入上的 ReLU)会挡住梯度。你会在第 6 模块看到这会造成真实的训练失败。

饱和:待在曲线平坦的部分,那里的斜率,以及因此穿过它的梯度,几乎为零。

回顾 激活函数负责弯折;它的斜率决定有多少梯度往回流。

本课中的词语和符号
sigmoid
1 / (1 + exp(-z)):把任何数字压到 0 到 1 之间
ReLU
max(0, z):保留正数,把负数变成零
反向传播
倒着运行链式法则,得到每一个权重的梯度
轮到你了

编写每个激活函数和它的斜率:relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope,都作用在数组上。使用 GELU 的近似 z * sigmoid(1.702 z)。它的斜率需要两条规则一起用:乘积法则(u × v 的斜率是 u' × v + u × v'),以及 sigmoid 内部的链式法则(sigmoid(1.702 z) 的斜率是 1.702 × s(1 - s),其中 s = sigmoid(1.702 z))。对于 ReLU 恰好在 0 处的斜率,用 0。隐藏测试会用微调检查每一个斜率。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。