第 7 模块:在新数据上工作
构建 dropout
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 dropout 是一种阻止网络过分依赖任何单个单元的简单方法,你会在许多模型中看到它。
在训练期间,dropout 会在每一步以概率 p(比如 0.5)随机地关闭每一个单元。网络没法依赖任何一个单元,因为它可能在下一步就不在了,所以它会把它知道的东西分散到许多单元上。
保持平均值正确
如果一半的单元被关闭了,下一层收到的信号大约只有一半。现代的反向 dropout在训练期间解决了这个问题:存活下来的单元会乘以 1 / (1 - p),这里是 2。在评估时,dropout 什么都不做,而平均信号和训练时一致。(最初 2014 年的论文是在评估时做缩放;结果是一样的,但反向 dropout 让评估代码保持不变。)
dropout 率 p:在训练期间关闭一个单元的概率。
本课中的词语和符号
- dropout(p)
- 在训练期间以概率 p 随机地关闭单元
轮到你了
编写 dropout(h, p, training, rng):在训练时,以概率 p 把每一项置零,并把存活下来的乘以 1 / (1 - p);否则原样返回 h。用 rng.random(h.shape) >= p 作为保留掩码。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。