第 19 模块:更大,又能好多少(缩放定律)
关卡:规划一次训练(关闭 AI)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 这正是缩放定律存在的目的所要做的决定:你有一个预算,只有一次机会。根据证据来规划它。
关卡规则:AI 导师已关闭。你有 3 × 10^10 FLOPs,用于课程字符模型的一次训练,在和网格同样的文本上。选择一个宽度(2 的幂),以及预算由此允许的词元数量。可以用任何你喜欢的方式使用被记录的网格:拟合、表格,或两者都用。
检查会用课程的双变量拟合预测你的选择和最佳可能选择的损失,当你的选择和最佳的相差在 0.02 以内、并且你花掉了预算(误差在 1% 以内)时就能通过。
本课中的词语和符号
- 缩放定律
- 随着权重、数据或计算的增长,损失如何下降,通常是一条趋向某个下限的幂律
- 词元
- 在这里指一次预测:一个字符
- FLOPs(6 N D)
- 训练成本:每个权重每个词元大约 6 次运算
轮到你了
设置 width 和 tokens。
关闭 AI:这一题没有导师、提示或参考答案。只靠你自己的思考。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。