课程大纲 第 205 课,共 246 课 · 第 19 模块:更大,又能好多少(缩放定律)
第 19 模块:更大,又能好多少(缩放定律)

预测一次更大的训练,然后看一看它

为什么重要 一个只能描述你已有训练的拟合,是一份摘要。一个能预测一次你没有做过的训练的拟合,是一条定律,至少暂时是。这就是检验。

在网格完成之后,课程又训练了一种规模:宽度 2048,大约 375,000 个权重,是网格中最大的那个的两倍,在完整的 150 万个词元上,3 个种子。你还没见过它的损失。

用第 3 课的幂律(一次一个宽度,150 万个词元)来预测它。在代码中定下这个数字,然后打开被记录的结果。

本课中的词语和符号
幂律
y = A x^-alpha:在对数-对数坐标轴上的一条直线
词元
在这里指一次预测:一个字符
轮到你了

用 scaling.fit_power_law 拟合 150 万词元的网格,为宽度 2048(scaling.params_of(2048) 个权重)设置 prediction,然后设置 actual(scaling.recorded_bigger() 的均值)和 error。通过设置 better_than_my_gut,把它和你在第 1 课中凭直觉产生的误差做比较。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。