第 11 模块:有记忆的网络(RNN)
关卡:一个有两个故障、出了问题的 RNN(关闭 AI)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 在没有任何帮助的情况下同时找出两个故障,正是那些诊所一直在训练你去做的事。
AI 导师已关闭。这个字符 RNN 有两个故障。一个让损失降不下去多少,尽管每一个损失都保持为一个有限的数(没有任何东西爆炸)。另一个意味着网络从来没有真正用上它在片段中前面读到的东西。找出并修复两者。
本课中的词语和符号
- 循环网络(RNN)
- 一次读取一步、并把一个隐藏状态向前传递的网络
- 熵
- 一个分布有多分散:确定时为 0,n 个选择都相等时为 ln(n)
轮到你了
修复 init 和 run_snippet。200 步之后,最后 20 步的平均损失必须低于 2.45,每一个损失都必须是一个有限的数,并且一个片段的第一个字符必须仍然影响最后的预测。
关闭 AI:这一题没有导师、提示或参考答案。只靠你自己的思考。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。