课程大纲 第 238 课,共 246 课 · 第 23 模块:毕业项目工作室:一张你可以运行的模型卡
第 23 模块:毕业项目工作室:一张你可以运行的模型卡

消融:三个改动,每个三个种子

为什么重要 “这个改动有帮助”是任何项目报告中最常见的说法,也是最常仅凭一次训练就做出的说法。第 22 模块的规则在这里,在你的训练上做出判断。

对你的基线挑三个改动,每一个都恰好只改变一个设置(width、lr、steps、batch 或 weight_decay)。用种子 0、1 和 2 运行每一个,并用同样的种子再运行一次基线(在这一课的日志中,这样每一个数字都在一个地方)。使用 evals=1:只需要最终的分数。

对于每一个改动:diff = 改动的平均分数减去基线的平均分数(越高越好),而 se = judge.standard_error(baseline, change)。判断:如果 diff > 2 se 就是 "better",如果 diff < -2 se 就是 "worse",否则是 "not shown"。

总花费必须在你的预算之内:一个成本更高的改动(更宽、更多步数)会用掉更多预算。

本课中的词语和符号
基线
每一个改动都要在同样的种子上与之比较的那次普通训练
消融
对基线的一个改动,在几个种子上运行,看看它会带来什么
轮到你了

设置 CHANGES(三个,每个一个设置)。用 12 次训练填写 log,并为每一个改动填写 verdict[name]。打印均值和 2 se。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。