课程大纲 第 130 课,共 246 课 · 第 11 模块:有记忆的网络(RNN)
第 11 模块:有记忆的网络(RNN)

谁记住了?被记录的训练

为什么重要 教科书说 LSTM 会记住,而普通 RNN 会遗忘。课程检验了这一点,而真实的答案有一个转折,值得你在训练第一个模型之前就知道。

被记录的实验 rnn-vs-lstm-memory:网络先看到四个符号中的一个,然后是一段由来自同一个字母表的 5、15、30 或 60 个符号组成的间隔,并且必须说出第一个符号是什么。三种网络,每种三个种子:

  • 一个普通的 tanh RNN;
  • 一个遗忘门偏置从 1 开始的 LSTM(一开始每一步大约保留 73% 的单元);
  • 一个遗忘门偏置从 3 开始的 LSTM(大约 95%)。

在你读这些训练之前,先预测:在间隔为 60 时,哪一种在全部三个种子上都成功了?

本课中的词语和符号
循环网络(RNN)
一次读取一步、并把一个隐藏状态向前传递的网络
LSTM
一个带有记忆单元 c 和三个门(遗忘门、输入门、输出门)的 RNN
轮到你了

把 my_prediction 设为 "rnn"、"lstm-forget-bias-1" 或 "lstm-forget-bias-3"。然后用 nnsim.recorded 填写 successes:(cell, gap) 到三个种子中有多少个达到了至少 95% 的测试准确率。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。