固定预算的最佳用法
为什么重要 在一个固定的计算预算 C 下,一个更大的模型会看到更少的词元(C = 6 N D)。太大了,它会缺乏数据;太小了,它会在预算用完之前就满了。2022 年,这种计算(“Chinchilla”论文)表明,当时的大多数大型模型对于它们所训练的数据来说都太大了。
同时拟合两种效应:
loss = E + A / N^alpha + B / D^beta
scaling.fit_2d 会把它拟合到全部 150 次训练上。然后对于一个预算 C,每一个宽度 N 都决定了 D = C / (6 N),而公式会预测损失:挑出预测值最低的那个宽度。scaling.params_of(width) 给出一个宽度的权重数。
这个领域如今的状况 Hoffmann 等人(2022,“Chinchilla”)把同样的双变量形式拟合到大型语言模型上,发现计算最优的划分大约是每个权重 20 个训练词元。实验室们现在常常远远超过这个比例去训练(用一个更小的模型训练多得多的词元),因为一个更小的模型在每次回答时都更便宜:对训练来说计算最优,对使用来说并不是最优。而当它们把一个模型变宽时,它们会重新缩放它的起始权重和每层的学习率(muP,Yang 等人 2022),这样在一个小模型上找到的最佳学习率在大模型上仍然有效:这正是第 13 模块中“更宽的模型想要更小的步子”那一课所测量的问题。
本课中的词语和符号
- 指数(alpha、beta)
- 随着权重增多(alpha)或数据增多(beta),损失下降得有多快
- 词元
- 在这里指一次预测:一个字符
- FLOPs(6 N D)
- 训练成本:每个权重每个词元大约 6 次运算
- 计算最优
- 把一个固定的预算在模型规模和数据之间划分、使损失最低的那种划分
把网格拟合到 f 中。编写 plan(f, budget),返回预测损失最低的那个宽度(从 2 到 4096 的 2 的幂)。为 1e9、1e10 和 1e11 FLOPs 的预算填写 choice。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。