第 3 模块:从神经元到 MLP
亲手推导两层网络的反向传播
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 这一课就是一个真实网络的全部反向传播。学完之后,深度学习库里就没有什么是魔法了。
先看见它
播放动画。误差从输出端开始,形式是(softmax 减 one-hot)。它往回流过第二层,在每一个 ReLU 关闭的地方被挡住,流过第一层,并在每一个权重上留下一个梯度。
前向传播
H_pre = X @ W1 + b1 # (n, hidden)
H = relu(H_pre)
Z = H @ W2 + b2 # (n, classes)
loss = cross_entropy(softmax(Z), y)
反向传播,靠对齐形状
让这件事变简单的诀窍:每一个梯度的形状都和它所属的那个东西相同。如果你知道形状,通常只有一种相乘的方式能对得上。前两步的推导如下:
dZ = (softmax(Z) - onehot) / n # (n, classes) from last lesson
dW2 = H.T @ dZ # (hidden, classes): same shape as W2.
# H is (n, hidden) and dZ is (n, classes):
# only H.T @ dZ fits.
剩下的归你。根据每一个必须具有的形状把它推出来:
db2:形状为 (classes,)。每一个偏置都被加到了每一行上。dH:形状为 (n, hidden),和 H 一样。它来自 dZ 和 W2。dH_pre:形状为 (n, hidden)。ReLU 在开启的地方让它的输入通过,在其他地方挡住它。dW1和db1:和 W2、b2 一样的两步,只是往下一层。
回顾 反向就是倒过来的前向,乘上每一步的局部斜率,以形状为向导。
本课中的词语和符号
- 权重(w、W)、偏置(b)
- 神经元学习的数字;偏置会平移它的输出
- ReLU
- max(0, z):保留正数,把负数变成零
- one-hot
- 全是零,只在真实类别处有一个 1
- 反向传播
- 倒着运行链式法则,得到每一个权重的梯度
轮到你了
编写 forward_backward(X, y, W1, b1, W2, b2),返回 (loss, grads),其中 grads 是一个键为 W1, b1, W2, b2 的字典。隐藏测试会用微调检查每一个梯度。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。