课程大纲 第 88 课,共 246 课 · 第 7 模块:在新数据上工作
第 7 模块:在新数据上工作

构建 dropout

为什么重要 dropout 是一种阻止网络过分依赖任何单个单元的简单方法,你会在许多模型中看到它。

在训练期间,dropout 会在每一步以概率 p(比如 0.5)随机地关闭每一个单元。网络没法依赖任何一个单元,因为它可能在下一步就不在了,所以它会把它知道的东西分散到许多单元上。

保持平均值正确

如果一半的单元被关闭了,下一层收到的信号大约只有一半。现代的反向 dropout在训练期间解决了这个问题:存活下来的单元会乘以 1 / (1 - p),这里是 2。在评估时,dropout 什么都不做,而平均信号和训练时一致。(最初 2014 年的论文是在评估时做缩放;结果是一样的,但反向 dropout 让评估代码保持不变。)

dropout 率 p:在训练期间关闭一个单元的概率。

本课中的词语和符号
dropout(p)
在训练期间以概率 p 随机地关闭单元
轮到你了

编写 dropout(h, p, training, rng):在训练时,以概率 p 把每一项置零,并把存活下来的乘以 1 / (1 - p);否则原样返回 h。用 rng.random(h.shape) >= p 作为保留掩码。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。