第 13 模块:注意力和 transformer
层归一化:让每一个向量保持在范围内
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 第 6 模块用批归一化让激活值保持健康,它在批次上取平均。文本批次长短不一,而生成时一次只运行一个序列,所以 transformer 对每一个位置的向量单独做归一化:层归一化。
对于一个有 d 个数字的向量 x:减去它的均值,除以它的标准差(加上一个很小的 epsilon,1e-5,这样我们永远不会除以 0),然后用学到的 g 和 b 进行缩放和平移:
y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b
每一个词元的向量进入每一个注意力部分和每一个前馈部分时,均值都是 0、离散程度都是 1,无论累加和已经变得多大。
本课中的词语和符号
- 注意力
- 对查询和键的得分做 softmax,用来对值取平均
- 层归一化
- 对每一个向量单独归一化:均值 0,离散程度 1,然后乘以 g 再加上 b
轮到你了
为任意形状的数组编写 layer_norm(x, g, b),沿着最后一个轴做归一化。它必须和课程引擎的 layernorm 一致。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。