第 20 模块:低成本地适配一个训练好的模型
更小的权重(量化)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 模型以数字的形式存储和运行,而大多数数字并不需要 32 位。把每个权重存储为 8 位或 4 位,会让一个模型小 4 倍或 8 倍,而且常常更快,这就是大型模型能装进笔记本和手机的方式。问题是它的代价是什么。
最简单的方案,对每个权重矩阵的每一行:找出最大的绝对值,在零的每一侧把这一行分成 2^(bits - 1) - 1 个相等的台阶,然后把每一个权重舍入到最近的台阶。存储舍入后的台阶(小整数)以及每行一个缩放因子。
很小的数字
行 [0.9, -0.3, 0.05],4 位:每一侧 7 个台阶;缩放因子 0.9 / 7 = 0.129。0.9 -> 7 个台阶 -> 0.9;-0.3 -> -2.33 -> -2 个台阶 -> -0.257;0.05 -> 0.39 -> 0 个台阶 -> 0。那个小的权重消失了。
本课中的词语和符号
- 量化
- 通过把权重舍入到少数几个台阶,用更少的位来存储它们
轮到你了
按描述的方式编写 quantize_row(w, bits)。然后设置 my_guess:你预计在 8 位和 4 位时英语损失的变化,并用 adapt.quantize(它对每一个矩阵应用同样的规则)为 8、4、3 和 2 位填写 measured。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。