课程大纲 第 79 课,共 246 课 · 第 6 模块:起始权重与归一化
第 6 模块:起始权重与归一化

BatchNorm 对数字做了什么

为什么重要 BatchNorm 在 2015 年让非常深的网络变得可以训练。在构建它之前,先看看它对数字做了什么。

看一看

播放动画。一层的输出到达时,每个特征都有它自己的均值和离散程度,有些很大,有些很小,有些发生了偏移。BatchNorm 会取每一个特征,在当前批次上减去它的均值并除以它的离散程度。现在每个特征的均值都为 0、离散程度为 1。然后它会乘以一个学习得到的 gamma 并加上一个学习得到的 beta,这样如果有帮助,网络就可以选择一个不同的缩放。

一个诚实的说明:BatchNorm 为什么有帮助,至今仍有争论。原始论文的解释(“内部协变量偏移”)已经不再是公认的解释;更平滑的损失曲面以及允许更大的学习率,是证据更充分的原因。它对数字做了什么,则是毫无疑问的。

BatchNorm:用当前批次的统计量把每个特征归一化,然后用学习得到的 gamma 和 beta 重新缩放。

本课中的词语和符号
Xavier、LeCun、He
起始离散程度:用于 tanh 的 sqrt(2 / (inputs + outputs)) 或 1 / sqrt(inputs),以及用于 ReLU 的 sqrt(2 / inputs)
BatchNorm(gamma、beta)
在批次上把每个特征归一化,然后用学习得到的 gamma 和 beta 重新缩放
轮到你了

在计算之前先预测:一个特征在一个批次中的值是 [2, 4, 6, 8],gamma 是 3,beta 是 1。把 my_output 设为 BatchNorm 产生的四个数字(使用 eps = 0)。然后为一个二维批次编写 batchnorm_forward(X, gamma, beta, eps=1e-5)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。