课程大纲 第 146 课,共 246 课 · 第 13 模块:注意力和 transformer
第 13 模块:注意力和 transformer

反向穿过注意力

为什么重要 每一个库都会替你算这个,但它只是你已经知道的四个步骤。亲手推导一次,注意力就成了一个你理解的层,而不是一个你只会调用的黑盒。

前向,对一个序列 X(t 个位置乘 d):Q = X Wq,K = X Wk,V = X Wv,S = Q KT / sqrt(d),A = 逐行的 softmax(S),out = A V。反向以相反的顺序走过同样的步骤,已知 G = dL/d(out):

  1. out = A V 是一次矩阵乘法(第 2 模块的形状规则):dA = G VT,以及 dV = AT G。
  2. A = softmax(S),逐行进行(第 2 模块的 softmax 梯度):dS = A * (dA - (dA * A).sum(-1, keepdims=True))。
  3. S = Q KT / sqrt(d):dQ = dS K / sqrt(d),以及 dK = dST Q / sqrt(d)。
  4. Q = X Wq(K 和 V 也一样):dWq = XT dQ,dWk = XT dK,dWv = XT dV。

这里 d 是查询和键的宽度(Wq 的列数)。任何地方都没有出现新的规则:注意力的反向传播就是两次矩阵乘法加一个 softmax,倒着运行。

回顾 以相反的顺序撤销每一步,每一步都用你已经有的规则。

本课中的词语和符号
查询、键、值
一个位置在找什么;每个位置提供什么来被匹配;它交出什么
注意力
对查询和键的得分做 softmax,用来对值取平均
轮到你了

为没有掩码的 out = softmax(Q KT / sqrt(d)) V 编写 attention_backward(X, Wq, Wk, Wv, G),返回 (dWq, dWk, dWv)。隐藏测试会用微调检查每一项。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。