课程大纲 第 162 课,共 246 课 · 第 14 模块:训练诊所 II
第 14 模块:训练诊所 II

诊所:一个好模型写得很糟

为什么重要 如果它周围的代码是错的,一个训练好的模型仍然会产出垃圾。这些故障存在于采样代码中,而不在权重里,而人们会重新训练好几天才想起去那里看一看。

下面的每一个案例都使用同一个被记录的宽度 64 的模型,它在温度 0.8 时能写出合理的文本。每个案例在文本如何被采样或解码上都有一个故障:

  • too_cold:温度接近 0。模型总是选择它最喜欢的下一个字符,然后陷入一个循环。
  • too_hot:温度远高于 1。分布被压平,直到罕见的符号和字母出现得一样频繁。
  • shifted_decode:ID 被转换回字符时,字母表错了一位,所以一个很好的样本读起来像一段密码:每一个空格都变成了 "!"。

探针:sample(c) 显示文本;repeat_share(text) 和 space_share(text) 测量它。

轮到你了

为案例 A、B 和 C 填写 diagnosis 和 fixes。在你的修复之后,每一个设置都必须和健康的那个一致,并且样本必须再次读起来像文本。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。