课程大纲 第 48 课,共 246 课 · 第 3 模块:从神经元到 MLP
第 3 模块:从神经元到 MLP

亲手推导两层网络的反向传播

为什么重要 这一课就是一个真实网络的全部反向传播。学完之后,深度学习库里就没有什么是魔法了。

先看见它

播放动画。误差从输出端开始,形式是(softmax 减 one-hot)。它往回流过第二层,在每一个 ReLU 关闭的地方被挡住,流过第一层,并在每一个权重上留下一个梯度。

前向传播

H_pre = X @ W1 + b1      # (n, hidden)
H     = relu(H_pre)
Z     = H @ W2 + b2      # (n, classes)
loss  = cross_entropy(softmax(Z), y)

反向传播,靠对齐形状

让这件事变简单的诀窍:每一个梯度的形状都和它所属的那个东西相同。如果你知道形状,通常只有一种相乘的方式能对得上。前两步的推导如下:

dZ  = (softmax(Z) - onehot) / n     # (n, classes)  from last lesson
dW2 = H.T @ dZ                      # (hidden, classes): same shape as W2.
                                    # H is (n, hidden) and dZ is (n, classes):
                                    # only H.T @ dZ fits.

剩下的归你。根据每一个必须具有的形状把它推出来:

  • db2:形状为 (classes,)。每一个偏置都被加到了每一行上。
  • dH:形状为 (n, hidden),和 H 一样。它来自 dZ 和 W2。
  • dH_pre:形状为 (n, hidden)。ReLU 在开启的地方让它的输入通过,在其他地方挡住它。
  • dW1 和 db1:和 W2、b2 一样的两步,只是往下一层。

回顾 反向就是倒过来的前向,乘上每一步的局部斜率,以形状为向导。

本课中的词语和符号
权重(w、W)、偏置(b)
神经元学习的数字;偏置会平移它的输出
ReLU
max(0, z):保留正数,把负数变成零
one-hot
全是零,只在真实类别处有一个 1
反向传播
倒着运行链式法则,得到每一个权重的梯度
轮到你了

编写 forward_backward(X, y, W1, b1, W2, b2),返回 (loss, grads),其中 grads 是一个键为 W1, b1, W2, b2 的字典。隐藏测试会用微调检查每一个梯度。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。