第 13 模块:注意力和 transformer
注意力解决了瓶颈
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 注意力在 2014 年被发明出来,正是为了解决你在第 11 模块测量过的问题:一个编码器把整句话压进一个向量里。
在记录下来的 seq2seq-bottleneck 实验中,注意力模型的解码器在每一步都会对编码器的所有隐藏状态做注意力(它的查询是解码器自己的状态)。它不再依赖于最后的那一个向量;它可以直接回头看它需要的那个数字。
预测:在长度 16 时,普通模型大约答对了 59% 的数字,注意力模型会得到多少?
本课中的词语和符号
- 查询、键、值
- 一个位置在找什么;每个位置提供什么来被匹配;它交出什么
- 注意力
- 对查询和键的得分做 softmax,用来对值取平均
轮到你了
把 my_guess 设为 0 到 1 之间的一个数:你对注意力模型在长度 16 时数字准确率的猜测。填写 acc:把 (model, length) 映射到两个种子的平均数字准确率,两个模型和全部四种长度都要填,还有 gain_at_16。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。