课程大纲 第 241 课,共 246 课 · 第 23 模块:毕业项目工作室:一张你可以运行的模型卡
第 23 模块:毕业项目工作室:一张你可以运行的模型卡

留出评估,带误差线

为什么重要 你做出的每一个选择都看过验证分数,所以它现在有点偏乐观了。在你从没看过的数据上评估一次,并带上误差线,才是你可以报告的那个数字。

根据你的消融所显示的结果,选择你的 FINAL 设置,最多 4 倍的基线成本。用种子 0 训练它。然后在隐藏测试集上给它打一次分:track.score(model, hidden=True, per_item=True) 为每个测试项目给出一个数字,而 studio.interval(items) 给出均值和一个 95% 的自助法区间。

隐藏集就随这个页面一起提供,所以它是隐藏的,而不是封存的:你是可以去看它的。课程的证书并不依赖于它的保密;你的卡片则依赖于此,所以只在最后看一次。

及格线(默认计划两者都能达到):language,均值至少 -2.72;images,至少 0.42。

本课中的词语和符号
基线
每一个改动都要在同样的种子上与之比较的那次普通训练
消融
对基线的一个改动,在几个种子上运行,看看它会带来什么
隐藏测试集
在做完每一个选择之后,在最后只打分一次的数据
轮到你了

设置 FINAL,训练 final,并填写 validation(它的验证分数)、hidden(均值、下限、上限)和 gap(验证减去隐藏的均值)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。