课程大纲 第 84 课,共 246 课 · 第 6 模块:起始权重与归一化
第 6 模块:起始权重与归一化

捷径(残差连接)

为什么重要 残差连接正是有几百层的网络之所以能训练的原因。每一个 Transformer 块都使用它们。

一个普通的层会替换它的输入:h = f(h)。一个残差块则是在它上面相加:h = h + f(h)。如果 f 没有学到任何有用的东西,这个块就只是让 h 原样通过,所以额外的深度在一开始永远不会让情况变得更糟。而在回程中,梯度有一条沿着“+ h”路径的直达路线,完全跳过了这一层,所以它不会消失。

关于下面这个实验的一个公平的提醒:两个网络都从同样的、故意设得很小的权重 N(0, 0.1) 开始。正是这个起点让普通网络沉没了。用这个模块前面讲的 He 起始权重,普通的 30 层网络也能训练(在课程的训练中 6 个种子里有 5 个)。捷径增加的是稳健性:即使从一个糟糕的起点开始,它们也能训练,并且在仅靠精心设置的起始权重已经不够用的深度上,它们仍然能工作。

在这里,每个块的贡献还被缩放了 1 / depth,这是一个常见的技巧,这样 30 次相加就不会让信号爆炸。

残差连接(或跳跃连接、捷径):把一个块的输入加到它的输出上。

预测曲线:猜一猜普通网络和带捷径的网络在 150 步之后的最终损失。(在这个二分类任务上,0.693 的损失意味着和抛硬币一样。)

本课中的词语和符号
Xavier、LeCun、He
起始离散程度:用于 tanh 的 sqrt(2 / (inputs + outputs)) 或 1 / sqrt(inputs),以及用于 ReLU 的 sqrt(2 / inputs)
残差连接
把一个块的输入加到它的输出上:h + f(h)
轮到你了

填写 my_guess。然后编写 block(h, W, b, shortcuts, depth):没有捷径时返回 relu(h @ W + b);有捷径时返回 h + relu(h @ W + b) * (1 / depth)。测试会从同样的小起始权重开始训练两个 30 层的网络。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。