重用一个训练好的网络(迁移学习)
为什么重要 你很少能为自己的任务找到大量带标签的数据。一个在相关大数据集上训练过的网络已经掌握了有用的特征;重用它,能让一个很小的数据集发挥很大的作用。
计划是:在一个大而干净的形状数据集上训练卷积层。然后面对一个新的、更难的任务,只有 40 张带标签的图像:同样的形状,但噪声大得多。让训练好的卷积层保持冻结,只在对整张图像取平均的特征上训练一个新的最后一层(与位置无关的特征能从很少的例子中泛化)。和在这 40 张图像上从头训练整个网络进行比较。
冻结:在训练过程中权重不被更新的层。微调:在新数据上继续训练一个预训练过的网络。
本课中的词语和符号
- 迁移学习
- 把在一个任务上训练过的层重用到另一个任务上
- RECORDED(已记录)
- 课程训练过一次、交给你研究的一次真实运行
预训练由课程做过一次,它的权重已经为你加载好了(一个记录下来的网络)。编写 train_head(w1, w2, X, y, steps),只在冻结的卷积层之上训练一个新的 16 到 4 的输出层(学习率 1e-2 的 Adam 可行),并返回一个 predict 函数;再编写 train_scratch(X, y, steps),从新的随机权重开始训练全部三层。测试会在 1,000 张有噪声的测试图像上运行两者。你的迁移模型必须比课程自己的从头训练网络(固定设置:8 和 16 个通道,Adam 3e-3,300 步,大约 58%)高出至少 8 个百分点;课程的迁移运行大约得到 72%。你自己的从头训练网络只需要学到点东西(高于 35%,随机水平是 25%)。如果你的打败了课程的从头训练网络,干得好:把从头训练调好是一项真本事,这也是为什么公平的比较要事先固定设置。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。