第 13 模块:注意力和 transformer
参数都在哪里
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 “一个 70 亿参数的模型”不过是在更大的 d 上做这套算术。会数参数,就能知道内存都花到了哪里,以及为什么宽度很昂贵。
每个块里的大矩阵是 Wq、Wk、Wv 和 Wo(四个 d 乘 d:4 乘 d 的平方)以及前馈部分(d 乘 4d 和 4d 乘 d:8 乘 d 的平方)。合起来是 12 乘 d 的平方,再加上几个给层归一化用的长度为 d 的向量。
块之外:词元嵌入(V 乘 d,在这个模型里也被重用为输出层)、位置向量(ctx 乘 d)以及最后的层归一化。
把 d 加倍会让块的参数乘以 4,但时间并不乘以 4。记录下来的宽度 128 的运行平均花了宽度 64 的大约 2.3 倍时间(不同运行之间从 1.1 倍到 4 倍不等:共享机器上的实际耗时是有噪声的),而宽度 32 并不比宽度 64 快。在这么小的模型里,每一步的固定开销(Python、小数组)占了很大一部分时间;只有当矩阵乘法占主导时,那个 4 倍才会显现出来。
本课中的词语和符号
- 头
- H 个并排运行的较窄注意力之一,每个都有它自己的模式
- 位置向量
- 加到每一个词元上,让注意力能分辨顺序
- 层归一化
- 对每一个向量单独归一化:均值 0,离散程度 1,然后乘以 g 再加上 b
- 12 乘 d 的平方
- 一个块的矩阵中的参数
轮到你了
编写 count(V, d, layers, ctx),返回这个 GPT 的精确参数数量(每个块有 12 乘 d 的平方 + 4d:两个各带 g 和 b 的层归一化)。它必须和真实模型一致。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。