第 10 模块:会看的网络(CNN)
卷积的反向传播
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 要学习它的滤波器,CNN 需要损失对每一个滤波器权重的梯度。结果它又是一次卷积。
很小的数字,先在 1D 中
输入 x = [1, 2, 3, 4],滤波器 w = [10, 20],有效输出 y = [1*10 + 2*20, 2*10 + 3*20, 3*10 + 4*20] = [50, 80, 110]。权重 w[0] 碰到了 x[0]、x[1]、x[2](每个输出一次),所以它的梯度是 g[0]*x[0] + g[1]*x[1] + g[2]*x[2]:输入对着到达的梯度 g 滑动。输入 x[1] 被 y[0](配 w[1])和 y[1](配 w[0])用到,所以它的梯度收集的是 g[0]*w[1] + g[1]*w[0]。
规则
- 滤波器的梯度:让输入对着到达的梯度滑动(x 和 g 的有效相关)。
- 输入的梯度:给 g 加上填充,再让翻转后的滤波器在它上面滑动(一次完整卷积)。
在 2D 中是同样的想法。本课之后,课程库中的 Conv2d 会解锁。
本课中的词语和符号
- 卷积
- 让一小格权重(一个滤波器)在图像上滑动,每个位置做一次点积
- 滤波器、特征图
- 学到的那一小格权重;以及它的响应构成的图像
轮到你了
编写 conv1d(x, w)(有效卷积)和 conv1d_backward(x, w, g),返回 (dx, dw)。然后编写 conv2d_backward(img, k, g),为 2D 有效卷积返回 (dimg, dk)。隐藏测试会用微调检查每一个梯度。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。