第 11 模块:有记忆的网络(RNN)
用温度采样文本
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 每一个聊天机器人都有一个“温度”设置。它只是一次除法,用安全而重复的文本去换取多变而更有风险的文本。
为了挑出下一个字符,一个模型会用 softmax 把它的分数变成概率。先把分数除以一个温度 T,会改变这个分布有多尖:T 小于 1 会让它更尖锐(最受青睐的那个更常胜出),T 大于 1 会让它更平坦(意外变得更有可能)。
熵,即 p log p 之和的负数,衡量一个分布有多分散:当一个选择是确定的时候为 0,当 n 个选择都等可能时为 ln(n)。
你将在一个真实的被记录的模型上测量它:课程中那个在自己的课文上训练的小型 GPT。
本课中的词语和符号
- 温度
- 在 softmax 之前除分数:小于 1 更尖锐,大于 1 更平坦
- 熵
- 一个分布有多分散:确定时为 0,n 个选择都相等时为 ln(n)
轮到你了
把 my_order 设为按熵从低到高排序的温度 0.5、1.0 和 2.0(你的预测)。然后为一行分数编写 entropy_at(scores, T),并为每个温度,用模型在给定上下文上的下一个字符分布的平均熵填写 measured。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。