课程大纲 第 119 课,共 246 课 · 第 10 模块:会看的网络(CNN)
第 10 模块:会看的网络(CNN)

一个在数字上运行的小 CNN

为什么重要 这是 1998 年 LeNet 的想法:卷积、池化、卷积、池化,然后是一个分类器。用你亲手赢得的课程层把它搭出来,看它在移动过的数字上打败 MLP。

课程库 nnsim.engine 里有你构建过的层:conv(3 乘 3,same 填充)、relu、pool2(2 乘 2 平均)、gap(全局平均池化)、matmul、cross_entropy 和 Adam。一个从 C_in 个通道到 C_out 个通道的 3 乘 3 滤波器的卷积权重,形状为 (9 * C_in, C_out)。

课程库,一张卡片说清楚(在课程剩下的部分里把它放在手边;在任何一课中 print(E.GUIDE) 都会再次显示它)

  • E.T(array) 把数字包装成一个张量。.data 是数组(float32);在 backward() 到达它之前,.grad 是 None。
  • loss.backward() 会给损失所依赖的每一个张量填上 .grad。
  • opt = E.Adam(params, lr) 接收一个张量列表。opt.step() 更新每一个有梯度的张量,然后把它的 .grad 设回 None,所以你永远不用自己把梯度清零。
  • 图像是通道在后的:(batch, rows, columns, channels)。E.conv(x, w) 保持大小不变(same 填充),并用形状为 (9 * C, F) 的 w 把 C 个通道变成 F 个。E.pool2 把行和列减半;E.gap 把它们平均掉,得到 (batch, channels)。
  • E.cross_entropy(logits, y):logits 是一个 (batch, classes) 的张量,y 是一个普通的整数数组。它返回一个只含一个数字的张量;用 float(loss.data) 读取它。
  • 一整个训练步骤只有三行:loss = E.cross_entropy(forward(Xb), yb)、loss.backward()、opt.step()。
  • 记录下来的运行:print(R.experiment(name)) 列出它的设置和各个指标的名字;run = exp.run(setting=value, ...),然后是 run.loss(步数和损失的配对)、run.metrics(一个字典)和 run.final_loss。

对着图表预测曲线:猜出第 1 轮之后和第 8 轮(最后一轮)之后的训练损失。

本课中的词语和符号
卷积
让一小格权重(一个滤波器)在图像上滑动,每个位置做一次点积
滤波器、特征图
学到的那一小格权重;以及它的响应构成的图像
填充(p)、步幅(s)
在边缘周围加上的零;滤波器每一步移动多少像素
池化
保留每个小块的最大值或平均值来缩小一张图
RECORDED(已记录)
课程训练过一次、交给你研究的一次真实运行
轮到你了

填写 my_guess,然后编写 train(epochs, seed),返回一个函数 predict(X)。使用 conv(1 到 16)+ relu、conv(16 到 32)+ relu、全局平均池化,然后是一个到 10 个类别的线性层。在测试数字上达到至少 90%,并在移动了 2 个像素的测试数字上达到至少 60%(MLP 在那里大约只有 21%)。移动后的得分在不同种子之间变化很大(课程自己的答案在五个种子上得到 0.76 到 0.89),所以门槛定得比那低得多。这里用学习率大约 1e-2 的 Adam 可行;用 3e-3 的话,这个小网络学得太慢,赶不上这一课。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。