第 19 模块:更大,又能好多少(缩放定律)
你自己的小规模训练,算一算成本
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 缩放是一个关于成本的陈述:每单位计算能变好多少。所以每一次训练都需要一个价签,而训练的价签出奇地简单。
训练的成本大约是每个权重每个词元 6 次运算:前向传播 2 次(每个权重一次乘法、一次加法),反向传播大约 4 次(针对输入和针对权重的梯度)。这就是你从起跑线开始就一直在用的 FLOP 账本规则:scaling.flops(weights, tokens)。
在这里你要现场训练三个小模型,每个都在课程文本的 32,000 个词元上训练,成本大约相差 7 倍。
本课中的词语和符号
- 词元
- 在这里指一次预测:一个字符
- FLOPs(6 N D)
- 训练成本:每个权重每个词元大约 6 次运算
轮到你了
把宽度 4、16 和 64 各训练 32,000 个词元(scaling.train(model, 32_000) 返回留出损失)。用每个宽度的权重数、FLOPs 和损失填写 runs。然后设置 cost_ratio:宽度 64 的训练成本是宽度 4 的多少倍。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。