课程大纲 第 230 课,共 246 课 · 第 22 模块:评判各种说法
第 22 模块:评判各种说法

一个更好的平均值,同样的能力

为什么重要 “我们的模型损失更低”是语言建模中最常见的说法。损失是对每一次预测的平均,而一个平均值可以在你关心的那部分丝毫没有改进的情况下变好。

课程记录了两个以同样方式训练的 GPT,宽度分别是 32 和 64。更宽的那个有更低的留出损失。但预测并不都一样:把一个已经开了头的单词补完("gradi" 之后是 "e")很容易;选择下一个单词的第一个字母,就是在选择接下来要说什么,而这很难。

judge.per_position(model, X, Y) 给出每一次预测的损失。在所有位置上、在单词的第一个字母上,以及在每个单词的其余部分上分别取平均。

先预测:更宽的模型在选择下一个单词上变得更好了吗?

本课中的词语和符号
种子
固定一次训练中随机选择的数字;换一个种子会得到另一个结果
轮到你了

把 my_guess 设为 "yes" 或 "no"。对于宽度 32 和 64,用一个包含 'all'、'first letter' 和 'inside word' 的字典填写 loss[width]。把 gain_from 设为更宽的模型的收益所来自的那一类位置("first letter" 或 "inside word")。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。