第 20 模块:低成本地适配一个训练好的模型
关卡:在预算之内完成一个新任务(关闭 AI)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 真实的适配工作有一个目标、一个预算,以及一样你绝不能弄坏的东西。三者同时存在,而且由你独自完成。
关卡规则:AI 导师已关闭。把被记录的 GPT 适配到 Python 代码上,最多 60 个训练步骤,每步 8 个窗口。在一次新的训练(新的种子)上的目标:
- 留出的代码损失最多 2.43(基础模型得分 3.25);
- 留出的英语损失最多 2.00(基础模型得分 1.70);
设置 plan:方法 "full" 或 "lora"、秩(对于 LoRA,1 到 64)、步数和学习率。检查会在一个新的种子上把你的计划训练一次。
本课中的词语和符号
- LoRA
- 低秩适配:一个冻结的权重矩阵加上两个细长的可训练矩阵,x W + (alpha / r) x A B
- 秩(r)
- LoRA 的两个矩阵有多细:每个矩阵 (d_in + d_out) × r 个可训练权重
轮到你了
填写 plan。
关闭 AI:这一题没有导师、提示或参考答案。只靠你自己的思考。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。