第 6 模块:起始权重与归一化
BatchNorm 的前向传播与滑动平均值
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 在训练时,BatchNorm 使用批次自己的统计量。当模型被一次用于一个样本时,没有批次,所以它必须记住训练中典型的统计量。
在训练期间,为每个特征的均值和方差保存滑动平均值:running = (1 - momentum) * running + momentum * batch_value,momentum 为 0.1。在评估模式下,用这些滑动值而不是批次的值来归一化。
训练模式:使用批次统计量并更新滑动平均值。评估模式:使用存储的滑动平均值,什么都不改变。
本课中的词语和符号
- Xavier、LeCun、He
- 起始离散程度:用于 tanh 的 sqrt(2 / (inputs + outputs)) 或 1 / sqrt(inputs),以及用于 ReLU 的 sqrt(2 / inputs)
- BatchNorm(gamma、beta)
- 在批次上把每个特征归一化,然后用学习得到的 gamma 和 beta 重新缩放
轮到你了
编写类 BatchNorm(n, momentum=0.1, eps=1e-5),带有 gamma(全为 1)、beta(全为 0)、running_mean(全为 0)、running_var(全为 1)、一个 training 标志(一开始为 True),以及按描述行事的 __call__(X)。对于 running_var,课程的选择是像 np.var 那样计算的批次方差(除以 n);PyTorch 保存的是无偏的那个(除以 n - 1),两者都被接受。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。