第 13 模块:注意力和 transformer
快速生成:键值缓存
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 聊天机器人一次写一个词元。如果用天真的做法,每一个新词元都要把到目前为止整段文本的键和值重新算一遍。键值缓存就是回复能快速流式输出的原因。
看见它
播放动画。有了因果掩码,新词元到来时,更早位置的键和值永远不会改变。所以把它们留着:对每一个新词元只计算它自己的 q、k 和 v,把 k 和 v 追加到缓存里,再用 q 对缓存中的键做注意力。
每个新词元的工作量:天真的做法对长度为 t 的文本要计算 t 个键和值;缓存只计算 1 个。在一段 1,000 个词元的回复中,那是大约 500,000 次键计算对 1,000 次。
本课中的词语和符号
- 查询、键、值
- 一个位置在找什么;每个位置提供什么来被匹配;它交出什么
- 注意力
- 对查询和键的得分做 softmax,用来对值取平均
- 自注意力
- 每一个位置都对同一段文本中的各个位置做注意力
- 因果掩码
- 把对角线以上的得分设为负无穷:没有哪个位置能看到未来
- 键值缓存
- 保留更早的键和值,让每一个新词元只花一步的代价
轮到你了
编写 cached_step(x, cache, Wq, Wk, Wv):x 是新的一行;把它的键和值追加到 cache["K"] 和 cache["V"](列表)中,并返回它对所有缓存位置的注意力输出。一次喂一行地喂入 X 的各行,必须精确地重现因果自注意力。设置 keys_naive 和 keys_cached:为了生成 1,000 个词元,每种方法要计算多少个键向量。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。