一个在数字上运行的小 CNN
为什么重要 这是 1998 年 LeNet 的想法:卷积、池化、卷积、池化,然后是一个分类器。用你亲手赢得的课程层把它搭出来,看它在移动过的数字上打败 MLP。
课程库 nnsim.engine 里有你构建过的层:conv(3 乘 3,same 填充)、relu、pool2(2 乘 2 平均)、gap(全局平均池化)、matmul、cross_entropy 和 Adam。一个从 C_in 个通道到 C_out 个通道的 3 乘 3 滤波器的卷积权重,形状为 (9 * C_in, C_out)。
课程库,一张卡片说清楚(在课程剩下的部分里把它放在手边;在任何一课中 print(E.GUIDE) 都会再次显示它)
E.T(array)把数字包装成一个张量。.data是数组(float32);在backward()到达它之前,.grad是None。loss.backward()会给损失所依赖的每一个张量填上.grad。opt = E.Adam(params, lr)接收一个张量列表。opt.step()更新每一个有梯度的张量,然后把它的.grad设回None,所以你永远不用自己把梯度清零。- 图像是通道在后的:(batch, rows, columns, channels)。
E.conv(x, w)保持大小不变(same 填充),并用形状为 (9 * C, F) 的w把 C 个通道变成 F 个。E.pool2把行和列减半;E.gap把它们平均掉,得到 (batch, channels)。 E.cross_entropy(logits, y):logits 是一个 (batch, classes) 的张量,y 是一个普通的整数数组。它返回一个只含一个数字的张量;用float(loss.data)读取它。- 一整个训练步骤只有三行:
loss = E.cross_entropy(forward(Xb), yb)、loss.backward()、opt.step()。 - 记录下来的运行:
print(R.experiment(name))列出它的设置和各个指标的名字;run = exp.run(setting=value, ...),然后是run.loss(步数和损失的配对)、run.metrics(一个字典)和run.final_loss。
对着图表预测曲线:猜出第 1 轮之后和第 8 轮(最后一轮)之后的训练损失。
本课中的词语和符号
- 卷积
- 让一小格权重(一个滤波器)在图像上滑动,每个位置做一次点积
- 滤波器、特征图
- 学到的那一小格权重;以及它的响应构成的图像
- 填充(p)、步幅(s)
- 在边缘周围加上的零;滤波器每一步移动多少像素
- 池化
- 保留每个小块的最大值或平均值来缩小一张图
- RECORDED(已记录)
- 课程训练过一次、交给你研究的一次真实运行
填写 my_guess,然后编写 train(epochs, seed),返回一个函数 predict(X)。使用 conv(1 到 16)+ relu、conv(16 到 32)+ relu、全局平均池化,然后是一个到 10 个类别的线性层。在测试数字上达到至少 90%,并在移动了 2 个像素的测试数字上达到至少 60%(MLP 在那里大约只有 21%)。移动后的得分在不同种子之间变化很大(课程自己的答案在五个种子上得到 0.76 到 0.89),所以门槛定得比那低得多。这里用学习率大约 1e-2 的 Adam 可行;用 3e-3 的话,这个小网络学得太慢,赶不上这一课。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。