拟合一条带下限的幂律
为什么重要 “越大越好”对规划毫无用处。“损失随着权重的 -0.5 次方下降,趋向 1.6 的下限”能让你给一次还没付钱的训练标上一个数字。得到那个数字,以及你对它有多确定,就是这项技能。
能拟合大多数缩放数据的形状是:
loss = E + A N^(-alpha)
N 是权重的数量,alpha 是指数(它改进得有多快),而 E 是下限:这一族模型在这份数据上都无法突破的损失。其中一部分是因为文本本身不可预测;另一部分是这一族模型自身的局限(这个模型永远只能往回看 8 个字符)。一个不同的模型族,比如一个能往回读得更远的模型族,会有一个更低的下限。没有下限时,在小模型上做的拟合会高估大模型能获得的收益。
怎样拟合它:对于 0 到略低于最小损失之间的每一个候选下限 E,取对数,log(loss - E) = log A - alpha log N,这是一条直线,用最小二乘法拟合它。保留那个其曲线在损失本身上平方误差最小的 E。
误差线:每种规模有 3 个种子。重新拟合很多次,每次为每种规模随机挑一个种子(一次自助法),然后看 alpha 的离散程度。看一看这个场景:同样的点,有下限和没有下限时拟合出的曲线,以及自助法拟合结果形成的带。
本课中的词语和符号
- 幂律
- y = A x^-alpha:在对数-对数坐标轴上的一条直线
- 指数(alpha、beta)
- 随着权重增多(alpha)或数据增多(beta),损失下降得有多快
- 下限(E)
- 任何模型在这份数据上都无法突破的损失
- 词元
- 在这里指一次预测:一个字符
- 自助法
- 在重新抽样的数据上重新拟合,看看一个拟合出的数字会移动多少
编写 fit(N, loss),按描述的方式返回 (E, A, alpha)(400 个候选下限,从 0 到 0.999 × 最小损失)。把 150 万词元的训练(每个宽度一个均值)拟合到 main 中,然后做 100 次自助法重新拟合,并把 interval 设为 alpha 的第 5 和第 95 百分位数。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。