课程大纲 第 214 课,共 246 课 · 第 20 模块:低成本地适配一个训练好的模型
第 20 模块:低成本地适配一个训练好的模型

更小的权重(量化)

为什么重要 模型以数字的形式存储和运行,而大多数数字并不需要 32 位。把每个权重存储为 8 位或 4 位,会让一个模型小 4 倍或 8 倍,而且常常更快,这就是大型模型能装进笔记本和手机的方式。问题是它的代价是什么。

最简单的方案,对每个权重矩阵的每一行:找出最大的绝对值,在零的每一侧把这一行分成 2^(bits - 1) - 1 个相等的台阶,然后把每一个权重舍入到最近的台阶。存储舍入后的台阶(小整数)以及每行一个缩放因子。

很小的数字

行 [0.9, -0.3, 0.05],4 位:每一侧 7 个台阶;缩放因子 0.9 / 7 = 0.129。0.9 -> 7 个台阶 -> 0.9;-0.3 -> -2.33 -> -2 个台阶 -> -0.257;0.05 -> 0.39 -> 0 个台阶 -> 0。那个小的权重消失了。

本课中的词语和符号
量化
通过把权重舍入到少数几个台阶,用更少的位来存储它们
轮到你了

按描述的方式编写 quantize_row(w, bits)。然后设置 my_guess:你预计在 8 位和 4 位时英语损失的变化,并用 adapt.quantize(它对每一个矩阵应用同样的规则)为 8、4、3 和 2 位填写 measured。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。