第 13 模块:注意力和 transformer
反向穿过注意力
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 每一个库都会替你算这个,但它只是你已经知道的四个步骤。亲手推导一次,注意力就成了一个你理解的层,而不是一个你只会调用的黑盒。
前向,对一个序列 X(t 个位置乘 d):Q = X Wq,K = X Wk,V = X Wv,S = Q KT / sqrt(d),A = 逐行的 softmax(S),out = A V。反向以相反的顺序走过同样的步骤,已知 G = dL/d(out):
- out = A V 是一次矩阵乘法(第 2 模块的形状规则):dA = G VT,以及 dV = AT G。
- A = softmax(S),逐行进行(第 2 模块的 softmax 梯度):dS = A * (dA - (dA * A).sum(-1, keepdims=True))。
- S = Q KT / sqrt(d):dQ = dS K / sqrt(d),以及 dK = dST Q / sqrt(d)。
- Q = X Wq(K 和 V 也一样):dWq = XT dQ,dWk = XT dK,dWv = XT dV。
这里 d 是查询和键的宽度(Wq 的列数)。任何地方都没有出现新的规则:注意力的反向传播就是两次矩阵乘法加一个 softmax,倒着运行。
回顾 以相反的顺序撤销每一步,每一步都用你已经有的规则。
本课中的词语和符号
- 查询、键、值
- 一个位置在找什么;每个位置提供什么来被匹配;它交出什么
- 注意力
- 对查询和键的得分做 softmax,用来对值取平均
轮到你了
为没有掩码的 out = softmax(Q KT / sqrt(d)) V 编写 attention_backward(X, Wq, Wk, Wv, G),返回 (dWq, dWk, dWv)。隐藏测试会用微调检查每一项。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。