第 14 模块:训练诊所 II
诊所:一个好模型写得很糟
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 如果它周围的代码是错的,一个训练好的模型仍然会产出垃圾。这些故障存在于采样代码中,而不在权重里,而人们会重新训练好几天才想起去那里看一看。
下面的每一个案例都使用同一个被记录的宽度 64 的模型,它在温度 0.8 时能写出合理的文本。每个案例在文本如何被采样或解码上都有一个故障:
- too_cold:温度接近 0。模型总是选择它最喜欢的下一个字符,然后陷入一个循环。
- too_hot:温度远高于 1。分布被压平,直到罕见的符号和字母出现得一样频繁。
- shifted_decode:ID 被转换回字符时,字母表错了一位,所以一个很好的样本读起来像一段密码:每一个空格都变成了 "!"。
探针:sample(c) 显示文本;repeat_share(text) 和 space_share(text) 测量它。
轮到你了
为案例 A、B 和 C 填写 diagnosis 和 fixes。在你的修复之后,每一个设置都必须和健康的那个一致,并且样本必须再次读起来像文本。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。