第 6 模块:起始权重与归一化
训练/评估模式的陷阱
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 一个在测试中得分很好、在使用中却表现很差、而且看不出任何原因的模型,常常就是这个缺陷。它骗过了有经验的工程师。
一个小型分类器有一个 BatchNorm 层。它被正确地训练过,它的滑动平均值也很好。在测试集上以大批次打分时,它表现很好。一次用于一个样本时,它出错的次数就太多了。
先做侦探工作:打印 BatchNorm 层对两个不同样本的输出,并问问自己它是用什么统计量来归一化的。从你打印出的东西中把它推断出来;如果你卡住了,三个提示会一步步带你到那里。
本课中的词语和符号
- Xavier、LeCun、He
- 起始离散程度:用于 tanh 的 sqrt(2 / (inputs + outputs)) 或 1 / sqrt(inputs),以及用于 ReLU 的 sqrt(2 / inputs)
- BatchNorm(gamma、beta)
- 在批次上把每个特征归一化,然后用学习得到的 gamma 和 beta 重新缩放
轮到你了
predict_one(x) 被一次用于一个样本,而它的准确率很差。找出原因,然后修复 predict_one,让留出准确率至少达到 90%。把 cause 设为一个说出原因的短语。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。