第 22 模块:评判各种说法
一个模型已经见过的测试集
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 大型模型在公共互联网的大部分内容上训练,而公共测试集就在互联网上。当测试项泄漏进训练中时,分数会因为一个和能力毫无关系的原因而上升,而报告这些分数的论文可能永远都不会知道。
一个为课程的 GPT 准备的、有 120 段文字的公共测试集。它的作者说它是单独编写的。实际上其中一部分是从课程的课文中复制过来的,而那正是这个 GPT 训练所用的文本。
一个标准的检查:把每一段文字切成 13 个字符的片段,然后在训练文本中查找它们。一段单独编写的文字,只会碰巧共享很少的长片段;而一段被复制的文字会共享所有的片段。judge.overlap(p) 给出一段文字的片段中在训练文本里找得到的比例,而 judge.losses(model, passages) 给出模型在每段文字上的损失。
先预测:去掉泄漏的那些段落,会让报告的损失变好还是变差?
本课中的词语和符号
- 污染(泄漏)
- 也出现在训练数据中的测试项
轮到你了
把 my_guess 设为 "better" 或 "worse"。填写 reported(全部 120 段的平均损失)、leaked(一个 True/False 列表,重叠高于 0.5)、clean(没有泄漏的那些段落的平均损失)和 leaked_loss。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。