顿悟:先记住,后理解
为什么重要 Power 等人(2022)看到一个网络达到了完美的训练准确率,在测试数据上长时间停留在随机水平,然后突然泛化了。这是最清楚的一个案例:观察内部解释了损失曲线解释不了的东西。
任务:a + b 模 23(除以 23 之后的余数;所以 20 + 5 是 2)。一共有 23 × 23 = 529 个求和;模型在随机的一半上训练,在另一半上测试。每个数字得到一个大小为 32 的嵌入;两个嵌入经过一个 128 的 ReLU 层,再输出 23 个分数。它在每一步都在整整一半的数据上训练,使用 AdamW(第 5 模块)。
现场训练它 1,500 步,然后去读课程被记录的 40,000 步训练(在一台笔记本上每次大约 11 秒,对一节课来说太长了),分别带有权重衰减 3 和没有权重衰减。
先预测:在 1,500 步之后,训练准确率会是 100%。测试准确率会是多少?
本课中的词语和符号
- 顿悟
- 在训练准确率已经完美很久之后,测试准确率才上升
把 my_guess 设为 "near 0"、"near 50%" 或 "near 100%"。训练 1,500 步,并用 (训练准确率, 测试准确率) 填写 live。根据 runs = interp.recorded()['grok'],每次训练的 'curve' 都有若干行 (step, 训练准确率, 测试准确率, 前 3 名的占比):把 half_way 设为在权重衰减为 3 时测试准确率达到 0.5 的第一个步数,并把 final_test 设为每次训练最后的测试准确率。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。