第 13 模块:注意力和 transformer
自注意力:每一个位置都去问其他每一个位置
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 在 transformer 中,没有一个单独的编码器可以回头去看。文本的每一个位置都对其他位置做注意力,所以每个字符的向量都会用句子其余部分的信息来更新。
从 X 开始,每个位置一行(t 行,d 列)。三个学到的矩阵一次就为每一个位置得出它的查询、键和值:
Q = X @ Wq K = X @ Wk V = X @ Wv
A = softmax(Q @ K.T / sqrt(dk)) # t by t: row i is how much position i attends to each position
out = A @ V
这就是第 1 课的软查找,用两次矩阵乘法一次为全部 t 个查询完成,这就是为什么它在快速的数学例程上运行得这么好。
本课中的词语和符号
- 查询、键、值
- 一个位置在找什么;每个位置提供什么来被匹配;它交出什么
- 注意力
- 对查询和键的得分做 softmax,用来对值取平均
- 自注意力
- 每一个位置都对同一段文本中的各个位置做注意力
轮到你了
编写 self_attention(X, Wq, Wk, Wv),返回 (out, A)。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。