课程大纲 第 213 课,共 246 课 · 第 20 模块:低成本地适配一个训练好的模型
第 20 模块:低成本地适配一个训练好的模型

一个大老师,一个小学生(蒸馏)

为什么重要 小模型运行起来很便宜。蒸馏(Hinton、Vinyals 和 Dean,2015)会训练一个小模型去照搬一个大模型的完整答案,而不只是正确答案:“很可能是 e,也许是 a,肯定不是 z”。这些软答案在每个样本上携带的信息比单纯的文本更多。

学生:一个 16 宽的 GPT(大约 8,000 个权重)。老师:那个 64 宽的 GPT。损失混合了两部分:一半是和文本之间的普通交叉熵,一半是和老师的概率之间的交叉熵,两者都用 2 的温度软化,这样老师的第二选择才有分量。

课程用两种方式训练了这个学生,3 个种子,并记录了在 300、1000 和 3000 步时的留出英语损失。

先预测:在 300 步时,被教的学生会胜过独自训练的那个吗?在 3000 步时呢?

本课中的词语和符号
LoRA
低秩适配:一个冻结的权重矩阵加上两个细长的可训练矩阵,x W + (alpha / r) x A B
蒸馏
训练一个小的学生去照搬一个大的老师的完整概率
温度(蒸馏)
在 softmax 之前除分数,让第二选择更有分量
轮到你了

为 300 和 3000 步把 guess 设为 "taught wins"、"alone wins" 或 "no clear difference"。然后填写 gap:对于 300、1000 和 3000 步中的每一个,独自训练的均值减去被教的均值(正数意味着蒸馏有帮助),并按这条规则据此设置 verdict:无论哪个方向,差距小于 0.03 都是 no clear difference。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。