课程大纲 第 242 课,共 246 课 · 第 23 模块:毕业项目工作室:一张你可以运行的模型卡
第 23 模块:毕业项目工作室:一张你可以运行的模型卡

写模型卡

为什么重要 模型卡(Mitchell 等人 2019)是把一个模型交给别人的方式:它是什么、它是怎么训练的、它表现得有多好,以及它在哪些地方没有被测试过。大多数卡片是凭记忆写的。你的卡片要根据你的运行日志来核对。

这一课会把你的基线和最终训练(种子 0)重新运行到一个新的日志中,在隐藏集上给最终模型打分,并把这些数字给你。把卡片写成一个带有以下字段的字典:

  • track、final settings(FINAL 字典)、weights(最终模型的大小)、training FLOPs(它的成本)
  • baseline validation score、validation score、hidden score、hidden interval [下限, 上限]
  • finding(一句带有你的两个探针数字的话)、ablations(每个改动一句话,带上它的判断)、limitations(它没有在哪些东西上被测试过:至少一个完整的句子)

检查会把每一个数字和日志以及隐藏集打分做比较,精确到 4 位小数。然后诚实地回答自我检查清单:每一行填 True 或 False。

本课中的词语和符号
基线
每一个改动都要在同样的种子上与之比较的那次普通训练
消融
对基线的一个改动,在几个种子上运行,看看它会带来什么
模型卡
一份简短的记录:一个模型是什么、它是怎么训练的、它表现得有多好,以及它在哪些地方没有被测试过
轮到你了

填写 card 和 checklist。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。