第 11 模块:有记忆的网络(RNN)
一个字符 RNN
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 根据之前的字符预测下一个字符,是最初的语言模型。同样的想法,规模扩大之后,就是一个聊天机器人。
一次一个字符地输入课程自己的课文。在每一步,RNN 更新它的状态,并用一个线性层和 softmax 预测下一个字符。损失是每个训练片段 16 个位置上的平均交叉熵。
每个字符都以一个嵌入的形式输入:一行通过字符的索引查找到的、学习得到的数字(第 12 模块会好好解释它们;现在,就把它当作一张网络会去训练的查找表)。
根据图表预测曲线:猜一猜第 0 步和 200 步之后的损失。对文本中所有字符的均匀猜测大约会得到 ln(V)。
本课中的词语和符号
- 循环网络(RNN)
- 一次读取一步、并把一个隐藏状态向前传递的网络
- 熵
- 一个分布有多分散:确定时为 0,n 个选择都相等时为 ln(n)
轮到你了
填写 my_guess。然后用课程的引擎编写 step_state(x_ids, h, P):tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"])。它外面的训练循环已经替你写好了。200 步之后,最后 20 步的平均损失必须低于 2.6。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。