课程大纲 第 156 课,共 246 课 · 第 13 模块:注意力和 transformer
第 13 模块:注意力和 transformer

快速生成:键值缓存

为什么重要 聊天机器人一次写一个词元。如果用天真的做法,每一个新词元都要把到目前为止整段文本的键和值重新算一遍。键值缓存就是回复能快速流式输出的原因。

看见它

播放动画。有了因果掩码,新词元到来时,更早位置的键和值永远不会改变。所以把它们留着:对每一个新词元只计算它自己的 q、k 和 v,把 k 和 v 追加到缓存里,再用 q 对缓存中的键做注意力。

每个新词元的工作量:天真的做法对长度为 t 的文本要计算 t 个键和值;缓存只计算 1 个。在一段 1,000 个词元的回复中,那是大约 500,000 次键计算对 1,000 次。

本课中的词语和符号
查询、键、值
一个位置在找什么;每个位置提供什么来被匹配;它交出什么
注意力
对查询和键的得分做 softmax,用来对值取平均
自注意力
每一个位置都对同一段文本中的各个位置做注意力
因果掩码
把对角线以上的得分设为负无穷:没有哪个位置能看到未来
键值缓存
保留更早的键和值,让每一个新词元只花一步的代价
轮到你了

编写 cached_step(x, cache, Wq, Wk, Wv):x 是新的一行;把它的键和值追加到 cache["K"] 和 cache["V"](列表)中,并返回它对所有缓存位置的注意力输出。一次喂一行地喂入 X 的各行,必须精确地重现因果自注意力。设置 keys_naive 和 keys_cached:为了生成 1,000 个词元,每种方法要计算多少个键向量。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。