从零实现自注意力
你已经构建了一个神经元和一次前向传播。现在你要构建那个把普通神经网络变成 transformer、再从那里变成每个聊天助手背后的 LLM 的想法:自注意力。它不过是几次矩阵乘法,你可以完全用 numpy 实现。
直觉
想象句子里的每个词都想从其他词那里收集信息。自注意力给每个位置三个向量:
- 一个查询(Q):这个位置在寻找什么。
- 一个键(K):每个位置能提供什么,用来做匹配。
- 一个值(V):每个位置携带的实际信息。
一个位置把自己的查询和每个键比较,决定对其他每个位置听多少,然后用这些量对值做加权混合。匹配强 -> 权重大 -> 那个值贡献更多。整个机制就是这样:查询关注键,答案是值的加权混合。
数学:缩放点积注意力
一个查询和一个键之间的匹配分数是它们的点积(方向越一致就越大)。把所有查询堆成矩阵 Q,所有键堆成 K,所有分数就能一次算出:Q @ K.T。我们除以 sqrt(d_k)(键的维度),这样向量变长时分数也不会爆炸:
scores = Q @ K.T / np.sqrt(d_k)为什么要除呢?点积会随维度增长。如果 d_k 是 64,而各个元素在 1 左右,原始分数就会落在 64 附近,这么大的数会把 softmax 推到单独一个键上,并让梯度变平。除以 sqrt(d_k),这里是 sqrt(64) = 8,能把分数拉回一个合理的范围,让注意力保持平滑、可训练。在下面你运行的小小的 d_k = 1 例子里,除数就是 1,所以你看不到它起作用,但在真实的模型规模下它必不可少。
scores 的每一行是一个查询对所有键的分数。我们在最后一个轴上做 softmax,把每一行变成为正且和为 1 的权重:
weights = softmax(scores, axis=-1) # each row sums to 1Softmax 先取指数,再归一化。如果直接这么做,大分数的 np.exp 会溢出成 inf,权重就会变成 nan。解决办法是标准的数值稳定技巧:在取指数之前减去每一行的最大值。它在数学上不改变结果(同一个常数在分子分母中抵消),但能让每个指数都 <= 0:
def softmax(x):
x = x - x.max(axis=-1, keepdims=True) # stability: largest exponent is now 0
e = np.exp(x)
return e / e.sum(axis=-1, keepdims=True)最后,每个查询的输出就是把它的权重应用到值上,也就是再做一次矩阵乘法:
output = weights @ V合起来,那个著名的公式就只是 softmax(Q @ K.T / sqrt(d_k)) @ V。如果 Q 是 (n, d_k),K 是 (m, d_k),V 是 (m, d_v),那么 weights 是 (n, m),output 是 (n, d_v):每个查询一个输出向量,每个都是值的各行的混合。
这就是 transformer 的全部诀窍
真正的 transformer 不会只算一次注意力。多头注意力并行运行好几个这样的计算(每个头学习自己的 Q、K、V 投影,所以不同的头关注不同的东西),再把结果拼接起来。然后一个 transformer 块把注意力和一个小的前馈网络以及一个残差连接叠在一起,而一个模型会叠上几十个这样的块。但它们每一个的核心,正是你马上要写的这个函数:分数、稳定的 softmax、值的加权和。把它构建出来,你就理解了 LLM 在“关注”提示词时反复执行的那个核心运算。
一个诚实的提醒:这里的 Q、K 和 V 是作为固定数组交给你的。在真实的模型里它们不是给定的,而是通过把每个 token 的嵌入乘以三个学到的权重矩阵 W_q、W_k 和 W_v 产生出来的。这些矩阵,以及每个块里的矩阵,正是训练用上一课的梯度下降来调整的东西。所以你在这里构建的是注意力那个固定的核心,它在每个 transformer 里都一样;学习发生在给它输入的那些投影里。
按 Run,看注意力把一个小小的 Q/K/V 变成输出,并打印出权重矩阵,这样你就能读出谁关注了谁。
用 numpy 实现缩放点积注意力。写 attention(Q, K, V),返回一个元组 (output, weights)。计算 scores = Q @ K.T / np.sqrt(d_k),其中 d_k 是 Q 的最后一个维度;在最后一个轴上应用数值稳定的 softmax(在 np.exp 之前减去每一行的最大值),得到每行和为 1 的 weights;然后 output = weights @ V。先返回 output,再返回 weights 矩阵。然后对提供的数组设 out, w = attention(Q, K, V)。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。