课程大纲 第 152 课,共 246 课 · 第 13 模块:注意力和 transformer
第 13 模块:注意力和 transformer

参数都在哪里

为什么重要 “一个 70 亿参数的模型”不过是在更大的 d 上做这套算术。会数参数,就能知道内存都花到了哪里,以及为什么宽度很昂贵。

每个块里的大矩阵是 Wq、Wk、Wv 和 Wo(四个 d 乘 d:4 乘 d 的平方)以及前馈部分(d 乘 4d 和 4d 乘 d:8 乘 d 的平方)。合起来是 12 乘 d 的平方,再加上几个给层归一化用的长度为 d 的向量。

块之外:词元嵌入(V 乘 d,在这个模型里也被重用为输出层)、位置向量(ctx 乘 d)以及最后的层归一化。

把 d 加倍会让块的参数乘以 4,但时间并不乘以 4。记录下来的宽度 128 的运行平均花了宽度 64 的大约 2.3 倍时间(不同运行之间从 1.1 倍到 4 倍不等:共享机器上的实际耗时是有噪声的),而宽度 32 并不比宽度 64 快。在这么小的模型里,每一步的固定开销(Python、小数组)占了很大一部分时间;只有当矩阵乘法占主导时,那个 4 倍才会显现出来。

本课中的词语和符号
头
H 个并排运行的较窄注意力之一,每个都有它自己的模式
位置向量
加到每一个词元上,让注意力能分辨顺序
层归一化
对每一个向量单独归一化:均值 0,离散程度 1,然后乘以 g 再加上 b
12 乘 d 的平方
一个块的矩阵中的参数
轮到你了

编写 count(V, d, layers, ctx),返回这个 GPT 的精确参数数量(每个块有 12 乘 d 的平方 + 4d:两个各带 g 和 b 的层归一化)。它必须和真实模型一致。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。