第 23 模块:毕业项目工作室:一张你可以运行的模型卡
写模型卡
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 模型卡(Mitchell 等人 2019)是把一个模型交给别人的方式:它是什么、它是怎么训练的、它表现得有多好,以及它在哪些地方没有被测试过。大多数卡片是凭记忆写的。你的卡片要根据你的运行日志来核对。
这一课会把你的基线和最终训练(种子 0)重新运行到一个新的日志中,在隐藏集上给最终模型打分,并把这些数字给你。把卡片写成一个带有以下字段的字典:
track、final settings(FINAL 字典)、weights(最终模型的大小)、training FLOPs(它的成本)baseline validation score、validation score、hidden score、hidden interval[下限, 上限]finding(一句带有你的两个探针数字的话)、ablations(每个改动一句话,带上它的判断)、limitations(它没有在哪些东西上被测试过:至少一个完整的句子)
检查会把每一个数字和日志以及隐藏集打分做比较,精确到 4 位小数。然后诚实地回答自我检查清单:每一行填 True 或 False。
本课中的词语和符号
- 基线
- 每一个改动都要在同样的种子上与之比较的那次普通训练
- 消融
- 对基线的一个改动,在几个种子上运行,看看它会带来什么
- 模型卡
- 一份简短的记录:一个模型是什么、它是怎么训练的、它表现得有多好,以及它在哪些地方没有被测试过
轮到你了
填写 card 和 checklist。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。