课程大纲 第 81 课,共 246 课 · 第 6 模块:起始权重与归一化
第 6 模块:起始权重与归一化

在一个只有 3 个数字的批次上做 BatchNorm 的反向传播(选修)

为什么重要 这是第 1 部分中最难的反向传播规则,而且是选修的。它的教训是:当每一个输出都依赖于每一个输入时(通过均值和离散程度),梯度会多出一些额外的项。

先在一个特征、一个大小为 3 的批次上推导它。令 x_hat = (x - mean) / spread、y = gamma x_hat + beta,关于 x 的梯度并不只是 gamma / spread 乘以到达的梯度。微调一个 x 会移动均值和离散程度,而这会移动其他每一个输出。结果是,对每个特征,用 g 表示到达的梯度、N 表示批次大小:

dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())

这样读它:普通的梯度,减去只是让所有东西一起平移的那部分(均值项),再减去只是让所有东西一起拉伸的那部分(离散程度项)。这两部分会被归一化本身抵消掉。

如果你卡住了,可以从提示中打开一个算好的解法。跳过这一课不会阻碍任何东西。

本课中的词语和符号
Xavier、LeCun、He
起始离散程度:用于 tanh 的 sqrt(2 / (inputs + outputs)) 或 1 / sqrt(inputs),以及用于 ReLU 的 sqrt(2 / inputs)
BatchNorm(gamma、beta)
在批次上把每个特征归一化,然后用学习得到的 gamma 和 beta 重新缩放
轮到你了

为一个二维批次编写 batchnorm_backward(X, gamma, g, eps=1e-5),返回 (dX, dgamma, dbeta),其中 g 是到达输出处的梯度。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。