课程大纲 第 143 课,共 246 课 · 第 13 模块:注意力和 transformer
第 13 模块:注意力和 transformer

注意力解决了瓶颈

为什么重要 注意力在 2014 年被发明出来,正是为了解决你在第 11 模块测量过的问题:一个编码器把整句话压进一个向量里。

在记录下来的 seq2seq-bottleneck 实验中,注意力模型的解码器在每一步都会对编码器的所有隐藏状态做注意力(它的查询是解码器自己的状态)。它不再依赖于最后的那一个向量;它可以直接回头看它需要的那个数字。

预测:在长度 16 时,普通模型大约答对了 59% 的数字,注意力模型会得到多少?

本课中的词语和符号
查询、键、值
一个位置在找什么;每个位置提供什么来被匹配;它交出什么
注意力
对查询和键的得分做 softmax,用来对值取平均
轮到你了

把 my_guess 设为 0 到 1 之间的一个数:你对注意力模型在长度 16 时数字准确率的猜测。填写 acc:把 (model, length) 映射到两个种子的平均数字准确率,两个模型和全部四种长度都要填,还有 gain_at_16。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。