第 22 模块:评判各种说法
一个更好的平均值,同样的能力
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 “我们的模型损失更低”是语言建模中最常见的说法。损失是对每一次预测的平均,而一个平均值可以在你关心的那部分丝毫没有改进的情况下变好。
课程记录了两个以同样方式训练的 GPT,宽度分别是 32 和 64。更宽的那个有更低的留出损失。但预测并不都一样:把一个已经开了头的单词补完("gradi" 之后是 "e")很容易;选择下一个单词的第一个字母,就是在选择接下来要说什么,而这很难。
judge.per_position(model, X, Y) 给出每一次预测的损失。在所有位置上、在单词的第一个字母上,以及在每个单词的其余部分上分别取平均。
先预测:更宽的模型在选择下一个单词上变得更好了吗?
本课中的词语和符号
- 种子
- 固定一次训练中随机选择的数字;换一个种子会得到另一个结果
轮到你了
把 my_guess 设为 "yes" 或 "no"。对于宽度 32 和 64,用一个包含 'all'、'first letter' 和 'inside word' 的字典填写 loss[width]。把 gain_from 设为更宽的模型的收益所来自的那一类位置("first letter" 或 "inside word")。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。