第 23 模块:毕业项目工作室:一张你可以运行的模型卡
留出评估,带误差线
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 你做出的每一个选择都看过验证分数,所以它现在有点偏乐观了。在你从没看过的数据上评估一次,并带上误差线,才是你可以报告的那个数字。
根据你的消融所显示的结果,选择你的 FINAL 设置,最多 4 倍的基线成本。用种子 0 训练它。然后在隐藏测试集上给它打一次分:track.score(model, hidden=True, per_item=True) 为每个测试项目给出一个数字,而 studio.interval(items) 给出均值和一个 95% 的自助法区间。
隐藏集就随这个页面一起提供,所以它是隐藏的,而不是封存的:你是可以去看它的。课程的证书并不依赖于它的保密;你的卡片则依赖于此,所以只在最后看一次。
及格线(默认计划两者都能达到):language,均值至少 -2.72;images,至少 0.42。
本课中的词语和符号
- 基线
- 每一个改动都要在同样的种子上与之比较的那次普通训练
- 消融
- 对基线的一个改动,在几个种子上运行,看看它会带来什么
- 隐藏测试集
- 在做完每一个选择之后,在最后只打分一次的数据
轮到你了
设置 FINAL,训练 final,并填写 validation(它的验证分数)、hidden(均值、下限、上限)和 gap(验证减去隐藏的均值)。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。