课程大纲 第 141 课,共 246 课 · 第 13 模块:注意力和 transformer
第 13 模块:注意力和 transformer

注意力是一种软查找

为什么重要 注意力是 transformer 里唯一的新想法。其他一切你都已经知道了。它是一种字典查找,只是不挑出一个条目,而是把所有条目混合起来。

看见它

播放动画。Python 字典精确地匹配一个键,并返回一个值。注意力有一个查询 q、一组键和一组值。它用点积给查询和每一个键打分,用 softmax 把得分变成权重(为正,加起来等于 1),然后返回这些值的加权平均。

weights = softmax(K @ q)
output  = weights @ V

很小的数字

q = [1, 0]。键 [2, 0]、[0, 2]、[0, 0] 给出得分 2、0、0。Softmax:e^2 = 7.39,以及 1 和 1,所以权重是 0.79、0.11、0.11。值为 10、20、30 时,输出是 0.79 乘 10 + 0.11 乘 20 + 0.11 乘 30 = 13.2:大部分是第一个值,其他的各占一点。

查询、键、值:我在找什么;每一项提供什么来被匹配;每一项被匹配上时交出什么。

本课中的词语和符号
查询、键、值
一个位置在找什么;每个位置提供什么来被匹配;它交出什么
注意力
对查询和键的得分做 softmax,用来对值取平均
轮到你了

为一个查询编写 attend(q, K, V):返回 (weights, output)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。