第 20 模块:低成本地适配一个训练好的模型
一个大老师,一个小学生(蒸馏)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 小模型运行起来很便宜。蒸馏(Hinton、Vinyals 和 Dean,2015)会训练一个小模型去照搬一个大模型的完整答案,而不只是正确答案:“很可能是 e,也许是 a,肯定不是 z”。这些软答案在每个样本上携带的信息比单纯的文本更多。
学生:一个 16 宽的 GPT(大约 8,000 个权重)。老师:那个 64 宽的 GPT。损失混合了两部分:一半是和文本之间的普通交叉熵,一半是和老师的概率之间的交叉熵,两者都用 2 的温度软化,这样老师的第二选择才有分量。
课程用两种方式训练了这个学生,3 个种子,并记录了在 300、1000 和 3000 步时的留出英语损失。
先预测:在 300 步时,被教的学生会胜过独自训练的那个吗?在 3000 步时呢?
本课中的词语和符号
- LoRA
- 低秩适配:一个冻结的权重矩阵加上两个细长的可训练矩阵,x W + (alpha / r) x A B
- 蒸馏
- 训练一个小的学生去照搬一个大的老师的完整概率
- 温度(蒸馏)
- 在 softmax 之前除分数,让第二选择更有分量
轮到你了
为 300 和 3000 步把 guess 设为 "taught wins"、"alone wins" 或 "no clear difference"。然后填写 gap:对于 300、1000 和 3000 步中的每一个,独自训练的均值减去被教的均值(正数意味着蒸馏有帮助),并按这条规则据此设置 verdict:无论哪个方向,差距小于 0.03 都是 no clear difference。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。