课程大纲 第 149 课,共 246 课 · 第 13 模块:注意力和 transformer
第 13 模块:注意力和 transformer

用波来表示位置

为什么重要 学到的位置向量止步于训练中见过的最长文本。最初的 transformer 用的是固定的波,它们给每一个位置一个独一无二的模式,并让“相隔 3 步”无论出现在哪里看起来都一样。

对于位置 p 和配对索引 i(0、1、2、……),总共 d 个数字:

PE[p, 2i]     = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))

第一对是一个快的波,后面的配对越来越慢,就像时钟的指针:秒、分、时。合在一起,它们给每一个位置一个不同的读数。

有用的性质:点积 PE[p] . PE[p + k] 只取决于 k,也就是距离,而不取决于 p。(根据恒等式 sin a sin b + cos a cos b = cos(a - b),每一对贡献的是角度差的 cos。)

这个领域现在的做法 如今大多数开放的语言模型既不用加到输入上的波,也不用学到的位置向量。RoPE(旋转位置嵌入,Su 等人 2021)在查询和键的投影之后,把每一个查询向量和键向量旋转一个随位置增大的角度,这样两个位置之间的得分只取决于它们相隔多远。ALiBi(Press 等人 2021)根本不加位置向量:它从每一个注意力得分中减去一个随距离增大的惩罚。两者都能更好地推广到比训练文本更长的文本上。这里的波是最初 transformer 的选择,也是最容易看懂的。

本课中的词语和符号
查询、键、值
一个位置在找什么;每个位置提供什么来被匹配;它交出什么
注意力
对查询和键的得分做 softmax,用来对值取平均
位置向量
加到每一个词元上,让注意力能分辨顺序
轮到你了

编写 positions(n, d),返回一个 n 乘 d 的数组。然后把 same_distance 设为在 p = 0 到 50 上 PE[p] . PE[p + 5] 之间的最大差异(它基本上应该是 0)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。