第 13 模块:注意力和 transformer
各个头在看什么
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 注意力权重是可以读的。看看训练好的头在做什么,是可解释性的开端:从模型的内部而不只是它的输出去理解它。
记录下来的宽度 64 的模型有 2 层,每层 4 个头。对每一个头,测量一个位置平均分给它前面那个字符多少注意力。如果一个头把注意力平均分给它能看到的一切,在一个 32 字符的片段上这个数字大约是 0.10。
预测:哪一层的头专门负责“看前一个字符”?
本课中的词语和符号
- 注意力
- 对查询和键的得分做 softmax,用来对值取平均
- 头
- H 个并排运行的较窄注意力之一,每个都有它自己的模式
轮到你了
把 my_guess 设为 0 或 1。为一个 t 乘 t 的注意力矩阵编写 prev_share(A):对 i 从 1 到 t - 1 求 A[i, i - 1] 的平均值。用 attention_maps 填写 share:把 (layer, head) 映射到 prev_share 在 40 个留出片段上的平均值。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。