第 13 模块:注意力和 transformer
亲手写一个 transformer 块
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 一个 GPT 就是同一个块的堆叠。用纯 NumPy 写一个,用记录下来的模型的真实权重运行它,如果你的数字和模型自己的一致,你就理解了 transformer 的每一行。
看见它
播放动画。一个块接收 h(t 个位置乘 d),做两件事,每件事的结果都加回到 h 上(第 6 模块的残差通路):
h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h) # relu(x @ W1) @ W2, W1 widens d to 4d
记录下来的模型里的名字:qkv{l} 把 Wq、Wk 和 Wv 并排存放(d 乘 3d),o{l} 是 Wo,g1{l}, b1{l} 和 g2{l}, b2{l} 是两个层归一化,w1{l}, w2{l} 是前馈部分。第 h 个头使用 Q、K 和 V 各自的第 h 乘 16 到 (h + 1) 乘 16 列。
本课中的词语和符号
- 注意力
- 对查询和键的得分做 softmax,用来对值取平均
- 头
- H 个并排运行的较窄注意力之一,每个都有它自己的模式
- 层归一化
- 对每一个向量单独归一化:均值 0,离散程度 1,然后乘以 g 再加上 b
- transformer 块
- h + attention(norm(h)),然后 h + feed-forward(norm(h))
轮到你了
为一个序列编写 block(h, l)(h 是 t 乘 d 的)。完整的模型已经为你组装好了;它的 logits 必须和 model.logits 一致。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。