第 13 模块:注意力和 transformer
很多个头,同样的代价
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 每层只有一种注意力模式是有局限的:一个位置可能既想看前一个字符,同时又想看这个词的开头。多头注意力把几个较小的注意力并排运行。
看见它
播放动画。把 Q、K 和 V 的 d 列分成 H 组,每组 d / H 列。每一组(一个头)用它自己的模式做它自己的注意力。把 H 个输出重新并排粘回 d 列,然后再用一个矩阵 Wo 把它们混合起来。
代价:和一个大头用的是同样的矩阵,只是切成了几块,所以参数数量不变。每个头更窄,所以它除以 d / H 的平方根。
本课中的词语和符号
- 注意力
- 对查询和键的得分做 softmax,用来对值取平均
- 头
- H 个并排运行的较窄注意力之一,每个都有它自己的模式
轮到你了
编写 multi_head(X, Wq, Wk, Wv, Wo, H)(不加掩码),返回输出以及由 H 个注意力矩阵组成的列表。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。