课程大纲 第 150 课,共 246 课 · 第 13 模块:注意力和 transformer
第 13 模块:注意力和 transformer

层归一化:让每一个向量保持在范围内

为什么重要 第 6 模块用批归一化让激活值保持健康,它在批次上取平均。文本批次长短不一,而生成时一次只运行一个序列,所以 transformer 对每一个位置的向量单独做归一化:层归一化。

对于一个有 d 个数字的向量 x:减去它的均值,除以它的标准差(加上一个很小的 epsilon,1e-5,这样我们永远不会除以 0),然后用学到的 g 和 b 进行缩放和平移:

y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b

每一个词元的向量进入每一个注意力部分和每一个前馈部分时,均值都是 0、离散程度都是 1,无论累加和已经变得多大。

本课中的词语和符号
注意力
对查询和键的得分做 softmax,用来对值取平均
层归一化
对每一个向量单独归一化:均值 0,离散程度 1,然后乘以 g 再加上 b
轮到你了

为任意形状的数组编写 layer_norm(x, g, b),沿着最后一个轴做归一化。它必须和课程引擎的 layernorm 一致。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。