课程大纲 第 120 课,共 246 课 · 第 10 模块:会看的网络(CNN)
第 10 模块:会看的网络(CNN)

更深的网络,以及记录下来的运行

为什么重要 堆叠更多层应该有帮助,直到它突然不再有帮助。课程在它自己的机器上训练了这个实验,让你几秒钟就能看完全部十八次运行。

记录下来的实验 cnn-depth-shortcuts 在形状数据集上训练了有 2、8 和 20 个卷积层(每层 16 个通道)的 CNN,每一种都分别带和不带捷径连接(把一个块的输入加到它的输出上,来自第 6 模块),并且每一种都用了三个种子。其余一切都相同:2,000 张训练图像,4 轮,Adam。重放是即时的,因为什么都不用训练;你读到的是真实发生过的事情。

三个种子,因为第 9 模块说得对:一次运行可能会误导人。看每一种设置的分布范围,而不只是它的平均值。

先预测曲线:哪一种设置最后的平均测试准确率最高,以及普通的 20 层网络是不是在每一个种子上都能学会?

记录下来的运行:课程做过一次并随课程一起提供的真实训练运行,这样课程就能研究那些太大或太多、没法在每台笔记本上现场训练的运行。每一份打印输出都标着 RECORDED。

本课中的词语和符号
RECORDED(已记录)
课程训练过一次、交给你研究的一次真实运行
轮到你了

把 my_best 设为你认为平均下来最后最高的那个 (depth, shortcuts) 对,如果你认为普通的 20 层网络在全部三个种子上都能学会,就把 my_plain20_reliable 设为 True。然后用 nnsim.recorded 填写 final_acc:把 (depth, shortcuts) 映射到三个种子最终测试准确率组成的列表(种子 0 在前),把 mean_acc 设为每个列表的平均值,把 best 设为平均值最高的那一对。exp.seeds(depth=..., shortcuts=...) 会给出一种设置的三次运行。随机猜的水平是 0.25(四种形状)。

最后,用第 9 模块的噪声规则说出哪些设置真的有差别。每种设置有三个种子时,两个平均值只有在差距大于大约 2 × s × sqrt(2/3) 时才算真的不同,其中 s 是两种设置的种子离散程度中较大的那个(三个值的 np.std)。任何更接近的都算平手。

把 ties_with_best 设为按那条规则和 best 打成平手的每一对组成的列表,包括 best 本身。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。