第 6 模块:起始权重与归一化
LayerNorm 和 RMSNorm
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 Transformer 不使用 BatchNorm。它们独立地归一化每一个样本,这避开了你刚刚遇到的批次陷阱,并且适用于任何批次大小。
- LayerNorm 在每个样本(每一行)的特征之间做归一化:减去这一行的均值,除以这一行的离散程度,然后对每个特征应用 gamma 和 beta。训练和使用时都一样。
- RMSNorm 更简单,被许多近期的语言模型使用:跳过均值,把每一行除以它的均方根
sqrt(mean(x squared) + eps),然后乘以 gamma。
很小的数字
行 [3, 4]。RMS = sqrt((9 + 16) / 2) = 3.536。RMSNorm 给出 [0.849, 1.131]。LayerNorm 会先减去均值 3.5:[-1, 1]。
本课中的词语和符号
- Xavier、LeCun、He
- 起始离散程度:用于 tanh 的 sqrt(2 / (inputs + outputs)) 或 1 / sqrt(inputs),以及用于 ReLU 的 sqrt(2 / inputs)
- BatchNorm(gamma、beta)
- 在批次上把每个特征归一化,然后用学习得到的 gamma 和 beta 重新缩放
- LayerNorm、RMSNorm
- 独立地归一化每一个样本,在它的各个特征之间进行
轮到你了
编写 layernorm(X, gamma, beta, eps=1e-5) 和 rmsnorm(X, gamma, eps=1e-6),两者都按行进行。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。