课程大纲 第 217 课,共 246 课 · 第 20 模块:低成本地适配一个训练好的模型
第 20 模块:低成本地适配一个训练好的模型

关卡:在预算之内完成一个新任务(关闭 AI)

为什么重要 真实的适配工作有一个目标、一个预算,以及一样你绝不能弄坏的东西。三者同时存在,而且由你独自完成。

关卡规则:AI 导师已关闭。把被记录的 GPT 适配到 Python 代码上,最多 60 个训练步骤,每步 8 个窗口。在一次新的训练(新的种子)上的目标:

  • 留出的代码损失最多 2.43(基础模型得分 3.25);
  • 留出的英语损失最多 2.00(基础模型得分 1.70);

设置 plan:方法 "full" 或 "lora"、秩(对于 LoRA,1 到 64)、步数和学习率。检查会在一个新的种子上把你的计划训练一次。

本课中的词语和符号
LoRA
低秩适配:一个冻结的权重矩阵加上两个细长的可训练矩阵,x W + (alpha / r) x A B
秩(r)
LoRA 的两个矩阵有多细:每个矩阵 (d_in + d_out) × r 个可训练权重
轮到你了

填写 plan。

关闭 AI:这一题没有导师、提示或参考答案。只靠你自己的思考。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。