课程大纲 第 115 课,共 246 课 · 第 10 模块:会看的网络(CNN)
第 10 模块:会看的网络(CNN)

卷积的反向传播

为什么重要 要学习它的滤波器,CNN 需要损失对每一个滤波器权重的梯度。结果它又是一次卷积。

很小的数字,先在 1D 中

输入 x = [1, 2, 3, 4],滤波器 w = [10, 20],有效输出 y = [1*10 + 2*20, 2*10 + 3*20, 3*10 + 4*20] = [50, 80, 110]。权重 w[0] 碰到了 x[0]、x[1]、x[2](每个输出一次),所以它的梯度是 g[0]*x[0] + g[1]*x[1] + g[2]*x[2]:输入对着到达的梯度 g 滑动。输入 x[1] 被 y[0](配 w[1])和 y[1](配 w[0])用到,所以它的梯度收集的是 g[0]*w[1] + g[1]*w[0]。

规则

  • 滤波器的梯度:让输入对着到达的梯度滑动(x 和 g 的有效相关)。
  • 输入的梯度:给 g 加上填充,再让翻转后的滤波器在它上面滑动(一次完整卷积)。

在 2D 中是同样的想法。本课之后,课程库中的 Conv2d 会解锁。

本课中的词语和符号
卷积
让一小格权重(一个滤波器)在图像上滑动,每个位置做一次点积
滤波器、特征图
学到的那一小格权重;以及它的响应构成的图像
轮到你了

编写 conv1d(x, w)(有效卷积)和 conv1d_backward(x, w, g),返回 (dx, dw)。然后编写 conv2d_backward(img, k, g),为 2D 有效卷积返回 (dimg, dk)。隐藏测试会用微调检查每一个梯度。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。