课程大纲 第 201 课,共 246 课 · 第 19 模块:更大,又能好多少(缩放定律)
第 19 模块:更大,又能好多少(缩放定律)

你自己的小规模训练,算一算成本

为什么重要 缩放是一个关于成本的陈述:每单位计算能变好多少。所以每一次训练都需要一个价签,而训练的价签出奇地简单。

训练的成本大约是每个权重每个词元 6 次运算:前向传播 2 次(每个权重一次乘法、一次加法),反向传播大约 4 次(针对输入和针对权重的梯度)。这就是你从起跑线开始就一直在用的 FLOP 账本规则:scaling.flops(weights, tokens)。

在这里你要现场训练三个小模型,每个都在课程文本的 32,000 个词元上训练,成本大约相差 7 倍。

本课中的词语和符号
词元
在这里指一次预测:一个字符
FLOPs(6 N D)
训练成本:每个权重每个词元大约 6 次运算
轮到你了

把宽度 4、16 和 64 各训练 32,000 个词元(scaling.train(model, 32_000) 返回留出损失)。用每个宽度的权重数、FLOPs 和损失填写 runs。然后设置 cost_ratio:宽度 64 的训练成本是宽度 4 的多少倍。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。