课程大纲 第 151 课,共 246 课 · 第 13 模块:注意力和 transformer
第 13 模块:注意力和 transformer

亲手写一个 transformer 块

为什么重要 一个 GPT 就是同一个块的堆叠。用纯 NumPy 写一个,用记录下来的模型的真实权重运行它,如果你的数字和模型自己的一致,你就理解了 transformer 的每一行。

看见它

播放动画。一个块接收 h(t 个位置乘 d),做两件事,每件事的结果都加回到 h 上(第 6 模块的残差通路):

h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h)        # relu(x @ W1) @ W2, W1 widens d to 4d

记录下来的模型里的名字:qkv{l} 把 Wq、Wk 和 Wv 并排存放(d 乘 3d),o{l} 是 Wo,g1{l}, b1{l} 和 g2{l}, b2{l} 是两个层归一化,w1{l}, w2{l} 是前馈部分。第 h 个头使用 Q、K 和 V 各自的第 h 乘 16 到 (h + 1) 乘 16 列。

本课中的词语和符号
注意力
对查询和键的得分做 softmax,用来对值取平均
头
H 个并排运行的较窄注意力之一,每个都有它自己的模式
层归一化
对每一个向量单独归一化:均值 0,离散程度 1,然后乘以 g 再加上 b
transformer 块
h + attention(norm(h)),然后 h + feed-forward(norm(h))
轮到你了

为一个序列编写 block(h, l)(h 是 t 乘 d 的)。完整的模型已经为你组装好了;它的 logits 必须和 model.logits 一致。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。