第 20 模块:低成本地适配一个训练好的模型
构建 LoRA
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 亲手构建一次,会让三件事变得显而易见:为什么它一开始是无害的,为什么它的梯度很便宜,以及为什么原始的权重永远不会改变。
在课程的引擎上的一个 LoRA 层:前向传播是 x W + (alpha / r) x A B,其中 W 是冻结的。引擎会自己算出 A 和 B 的梯度(你在第 4 模块写的引擎也会);W 只是绝不能被更新,而这一点由你来检查。
本课中的词语和符号
- LoRA
- 低秩适配:一个冻结的权重矩阵加上两个细长的可训练矩阵,x W + (alpha / r) x A B
轮到你了
用引擎的运算编写 lora_forward(x, W, A, B, alpha)。然后在起始代码中那个小层上检查:当 B 为零时输出等于 x W;在一次反向传播之后,W 没有更新,但 A 或 B 有;而且 A 的梯度和微调的结果一致。把 max_gap 设为最大的差异。引擎以 float32 工作,所以微调量要用 h = 1e-3 或更大:用 1e-4 时,损失的变化会淹没在舍入误差中,一个正确的梯度看起来也会是错的。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。