课程大纲 第 147 课,共 246 课 · 第 13 模块:注意力和 transformer
第 13 模块:注意力和 transformer

很多个头,同样的代价

为什么重要 每层只有一种注意力模式是有局限的:一个位置可能既想看前一个字符,同时又想看这个词的开头。多头注意力把几个较小的注意力并排运行。

看见它

播放动画。把 Q、K 和 V 的 d 列分成 H 组,每组 d / H 列。每一组(一个头)用它自己的模式做它自己的注意力。把 H 个输出重新并排粘回 d 列,然后再用一个矩阵 Wo 把它们混合起来。

代价:和一个大头用的是同样的矩阵,只是切成了几块,所以参数数量不变。每个头更窄,所以它除以 d / H 的平方根。

本课中的词语和符号
注意力
对查询和键的得分做 softmax,用来对值取平均
头
H 个并排运行的较窄注意力之一,每个都有它自己的模式
轮到你了

编写 multi_head(X, Wq, Wk, Wv, Wo, H)(不加掩码),返回输出以及由 H 个注意力矩阵组成的列表。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。