第 11 模块:有记忆的网络(RNN)
谁记住了?被记录的训练
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 教科书说 LSTM 会记住,而普通 RNN 会遗忘。课程检验了这一点,而真实的答案有一个转折,值得你在训练第一个模型之前就知道。
被记录的实验 rnn-vs-lstm-memory:网络先看到四个符号中的一个,然后是一段由来自同一个字母表的 5、15、30 或 60 个符号组成的间隔,并且必须说出第一个符号是什么。三种网络,每种三个种子:
- 一个普通的 tanh RNN;
- 一个遗忘门偏置从 1 开始的 LSTM(一开始每一步大约保留 73% 的单元);
- 一个遗忘门偏置从 3 开始的 LSTM(大约 95%)。
在你读这些训练之前,先预测:在间隔为 60 时,哪一种在全部三个种子上都成功了?
本课中的词语和符号
- 循环网络(RNN)
- 一次读取一步、并把一个隐藏状态向前传递的网络
- LSTM
- 一个带有记忆单元 c 和三个门(遗忘门、输入门、输出门)的 RNN
轮到你了
把 my_prediction 设为 "rnn"、"lstm-forget-bias-1" 或 "lstm-forget-bias-3"。然后用 nnsim.recorded 填写 successes:(cell, gap) 到三个种子中有多少个达到了至少 95% 的测试准确率。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。