第 13 模块:注意力和 transformer
注意力是一种软查找
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 注意力是 transformer 里唯一的新想法。其他一切你都已经知道了。它是一种字典查找,只是不挑出一个条目,而是把所有条目混合起来。
看见它
播放动画。Python 字典精确地匹配一个键,并返回一个值。注意力有一个查询 q、一组键和一组值。它用点积给查询和每一个键打分,用 softmax 把得分变成权重(为正,加起来等于 1),然后返回这些值的加权平均。
weights = softmax(K @ q)
output = weights @ V
很小的数字
q = [1, 0]。键 [2, 0]、[0, 2]、[0, 0] 给出得分 2、0、0。Softmax:e^2 = 7.39,以及 1 和 1,所以权重是 0.79、0.11、0.11。值为 10、20、30 时,输出是 0.79 乘 10 + 0.11 乘 20 + 0.11 乘 30 = 13.2:大部分是第一个值,其他的各占一点。
查询、键、值:我在找什么;每一项提供什么来被匹配;每一项被匹配上时交出什么。
本课中的词语和符号
- 查询、键、值
- 一个位置在找什么;每个位置提供什么来被匹配;它交出什么
- 注意力
- 对查询和键的得分做 softmax,用来对值取平均
轮到你了
为一个查询编写 attend(q, K, V):返回 (weights, output)。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。