第 14 模块:训练诊所 II
只凭记录来诊断
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 你常常没法重新运行任何东西:那次训练是别人的,或者它花了一个星期。你所拥有的只是被记录下来的东西。这门课中的两个被记录的实验包含着真实的失败。
在 gpt-width-lr 中,如果一个设置在三个被记录的种子上平均的最终留出损失,比同一宽度下最好的设置差超过 0.5,那么它就是被它的学习率弄坏了。在 cnn-depth-shortcuts 中,如果一次训练的测试准确率在每一个轮次都完全一样,它就是卡住了:它对所有东西都回答同一个类别(有四个形状类别,所以大约是 0.25)。
在你去看之前先预测:哪些 GPT 训练是坏的,哪个 CNN 是卡住的?
轮到你了
用根据记录计算出的 (width, lr) 对填写 broken,并用 (depth, shortcuts, seed) 三元组填写 stuck。exp.seeds(d=..., lr=...) 给出一个设置的三次训练。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。