课程大纲 第 132 课,共 246 课 · 第 11 模块:有记忆的网络(RNN)
第 11 模块:有记忆的网络(RNN)

一个读,一个写:瓶颈

为什么重要 机器翻译过去就是这样工作的:一个 RNN 把句子读进一个单独的向量,另一个 RNN 从它写出输出。那一个向量就是一个瓶颈,而看到它失败,正是注意力被发明出来的原因。

一个编码器-解码器:编码器 RNN 读取输入;它最终的隐藏状态被交给解码器 RNN,后者一次一个符号地写出输出,并把每一个答案再送回去。解码器所知道的关于输入的一切,都必须挤过那一个由 48 个数字组成的向量。

被记录的实验 seq2seq-bottleneck 训练了这样的网络去倒着写出一串数字,长度为 4、8、12 和 16,每种两个种子。它还训练了一个带注意力的版本,你会在第 13 模块中见到它。现在,只看那些普通的版本。

预测曲线:预测普通模型在长度为 16 时的数字准确率。随机概率是 10%。

本课中的词语和符号
循环网络(RNN)
一次读取一步、并把一个隐藏状态向前传递的网络
编码器-解码器
一个 RNN 把输入读进一个向量,另一个从它写出输出
瓶颈
一切都必须挤过的那一个单独的向量
轮到你了

设置 my_guess_16,然后填写 plain_acc:长度到两次普通训练的平均数字准确率。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。