课程大纲 第 155 课,共 246 课 · 第 13 模块:注意力和 transformer
第 13 模块:注意力和 transformer

各个头在看什么

为什么重要 注意力权重是可以读的。看看训练好的头在做什么,是可解释性的开端:从模型的内部而不只是它的输出去理解它。

记录下来的宽度 64 的模型有 2 层,每层 4 个头。对每一个头,测量一个位置平均分给它前面那个字符多少注意力。如果一个头把注意力平均分给它能看到的一切,在一个 32 字符的片段上这个数字大约是 0.10。

预测:哪一层的头专门负责“看前一个字符”?

本课中的词语和符号
注意力
对查询和键的得分做 softmax,用来对值取平均
头
H 个并排运行的较窄注意力之一,每个都有它自己的模式
轮到你了

把 my_guess 设为 0 或 1。为一个 t 乘 t 的注意力矩阵编写 prev_share(A):对 i 从 1 到 t - 1 求 A[i, i - 1] 的平均值。用 attention_maps 填写 share:把 (layer, head) 映射到 prev_share 在 40 个留出片段上的平均值。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。