第 6 模块:起始权重与归一化
在一个只有 3 个数字的批次上做 BatchNorm 的反向传播(选修)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 这是第 1 部分中最难的反向传播规则,而且是选修的。它的教训是:当每一个输出都依赖于每一个输入时(通过均值和离散程度),梯度会多出一些额外的项。
先在一个特征、一个大小为 3 的批次上推导它。令 x_hat = (x - mean) / spread、y = gamma x_hat + beta,关于 x 的梯度并不只是 gamma / spread 乘以到达的梯度。微调一个 x 会移动均值和离散程度,而这会移动其他每一个输出。结果是,对每个特征,用 g 表示到达的梯度、N 表示批次大小:
dx = (gamma / spread) * (g - g.mean() - x_hat * (g * x_hat).mean())
这样读它:普通的梯度,减去只是让所有东西一起平移的那部分(均值项),再减去只是让所有东西一起拉伸的那部分(离散程度项)。这两部分会被归一化本身抵消掉。
如果你卡住了,可以从提示中打开一个算好的解法。跳过这一课不会阻碍任何东西。
本课中的词语和符号
- Xavier、LeCun、He
- 起始离散程度:用于 tanh 的 sqrt(2 / (inputs + outputs)) 或 1 / sqrt(inputs),以及用于 ReLU 的 sqrt(2 / inputs)
- BatchNorm(gamma、beta)
- 在批次上把每个特征归一化,然后用学习得到的 gamma 和 beta 重新缩放
轮到你了
为一个二维批次编写 batchnorm_backward(X, gamma, g, eps=1e-5),返回 (dX, dgamma, dbeta),其中 g 是到达输出处的梯度。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。