课程大纲 第 75 课,共 246 课 · 第 6 模块:起始权重与归一化
第 6 模块:起始权重与归一化

穿过 20 层的信号

为什么重要 在一个深层网络学到任何东西之前,信号必须在穿过每一层的旅程中存活下来。它常常做不到,而没有任何优化器能修复这一点。

让一批随机输入穿过 20 层 h = relu(h @ W),每一个权重都从某个离散程度的正态分布中抽取。在每一层之后,测量激活的离散程度(标准差)。

很小的数字

每一层都会把信号的典型大小乘以大致相同的一个因子。如果这个因子是 0.5,20 层之后信号就是 0.5 的 20 次方:大约百万分之一。如果它是 2,信号就大约是一百万倍大。只有一个接近 1 的因子才能存活下来。

回顾 深度会把每一层上的小变化变成巨大的变化。

本课中的词语和符号
Xavier、LeCun、He
起始离散程度:用于 tanh 的 sqrt(2 / (inputs + outputs)) 或 1 / sqrt(inputs),以及用于 ReLU 的 sqrt(2 / inputs)
轮到你了

编写 spreads(scale, depth=20, width=100, seed=0):从 h = rng.standard_normal((256, width)) 开始,然后对每一层抽取 W = rng.normal(0, scale, (width, width)) 并设置 h = relu(h @ W)。返回每一层之后的 h.std() 的列表。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。