内存占用:4 位 vs 16 位
这是决定一个模型能否装进你的硬件的算术,也是"量化"模型随处可见的原因。模型的权重只是数字,每个数字根据精度占用若干字节。占用量很简单:
bytes = params * bits_per_param / 8
# (8 bits per byte)训练和全精度推理通常使用 16 位浮点数(每个 2 字节)。要在笔记本电脑或手机上运行模型,你要对它进行量化:用更少的位存储每个权重。4 位量化只用四分之一的字节,因为 4 位是 16 位的四分之一。同样的参数数量,四分之一的内存。
算一个 70 亿参数的模型:
16-bit: 7e9 * 16 / 8 = 1.4e10 bytes ~= 13.04 GiB
4-bit: 7e9 * 4 / 8 = 3.5e9 bytes ~= 3.26 GiB (exactly 1/4)这就是一个需要大 GPU 的模型和一个能在笔记本电脑上运行的模型之间的区别。这也正是设备端助手(比如驱动本课程 AI 导师的那个)用 4 位模型发布的原因:质量上的代价很小,内存和带宽上的收益却巨大。这也是参数高效微调(LoRA)吸引人的原因,你只需要在一个冻结的、可能已经量化的基础模型之上,存储和发布几个小小的适配器权重。
这个简单公式遗漏了什么。它只计算权重,所以把它当作下限。真实的 4 位格式还会为每一小组权重存储一个缩放系数,使每个权重达到大约 4.5 到 5 位(一个 7B 模型更接近 4 GiB,而不是 3.26)。运行模型还需要给 KV 缓存留空间,它随上下文长度增长。而训练需要的远不止权重:用 Adam 优化器做全量微调,每个权重都要保存梯度和两个优化器状态,在混合精度下大约每个参数 16 字节,所以一个 7B 模型在算上激活值之前就大约要 100 GiB。这个差距才是 LoRA 和量化微调存在的真正原因。
我们用 GiB(吉比字节)报告占用量,把字节数除以 1024 ** 3。保持它为精确的浮点数,不要四舍五入,这样下面的关系才能严格成立。
写两个函数。
model_memory(params, bits_per_param)-> 以 GiB 为单位的占用量,一个浮点数:params * bits_per_param / 8 / (1024 ** 3)。quantization_savings(params, from_bits, to_bits)->{"before_gb", "after_gb", "ratio"},其中before_gb和after_gb是两个占用量,ratio是from_bits / to_bits(量化后的模型小了多少倍)。
这些数学是真实的,可以评分;它所支持的 GPU 训练则不是这个沙盒能运行的。按 Run 打印一个 7B 模型在几种精度下的占用量。
写 model_memory(params, bits_per_param),以浮点数返回以 GiB 为单位的占用量(params * bits_per_param / 8 / (1024 ** 3)),再写 quantization_savings(params, from_bits, to_bits),返回 {"before_gb", "after_gb", "ratio"},其中两个占用量来自 model_memory,ratio 是 from_bits / to_bits。不要四舍五入;保持精确的浮点数,这样 4 位正好是 16 位的四分之一。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。