课程大纲 第 77 课,共 246 课 · 第 6 模块:起始权重与归一化
第 6 模块:起始权重与归一化

让信号保持稳定的缩放(Xavier 和 He)

为什么重要 “起始权重应该有多大”这个问题有一个精确的答案。用上它,深层网络就变得可以训练了。

很小的数字

一层的一个输出,是把 n_in 个输入和权重的乘积加起来。如果输入的离散程度是 1、权重的离散程度是 s,那么 n_in 个这样的项之和的离散程度是 s 乘以 sqrt(n_in)(方差相加:第 2 模块,“离散程度如何叠加”)。为了让它保持在 1,选择 s = 1 / sqrt(n_in)。这就是 LeCun 初始化。Xavier(也叫 Glorot)初始化还会让回程中的梯度保持稳定,而梯度取决于 n_out,所以它取了一个折中:s = sqrt(2 / (n_in + n_out))。当 n_in 等于 n_out 时,两者是一样的。两者都适合 tanh。

ReLU 会扔掉负的那一半,这会让平均平方大小减半。用两倍的方差来弥补它:s = sqrt(2 / n_in)。这就是 He 初始化,适合 ReLU。宽度为 100 时,He 给出 sqrt(0.02) = 0.141:恰好就是上一课中那个“ok”的缩放。

回顾 tanh:Xavier,sqrt(2 / (n_in + n_out)),或者 LeCun,1 / sqrt(n_in)。ReLU:He,sqrt(2 / n_in)。

本课中的词语和符号
初始化
在训练开始之前权重是怎样设置的
Xavier、LeCun、He
起始离散程度:用于 tanh 的 sqrt(2 / (inputs + outputs)) 或 1 / sqrt(inputs),以及用于 ReLU 的 sqrt(2 / inputs)
轮到你了

编写 xavier(n_in, n_out, rng) 和 he(n_in, n_out, rng),返回权重矩阵。用 He 权重时,在 20 层宽度为 256 的 ReLU 层之后,激活的离散程度必须保持在 0.2 到 5 之间。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。